数据获取相关技术,多年大型企业、大型项目项目经理、技术经理经验
数据仓库分层设计,大数据技术选型,数据模型设计与实现
利用python获取网络数据
使用scala开发spark任务
使用hive、spark sql建设数据仓库
使用flink构建事实数据仓库
国家电网大型数据仓库项目经理,技术经理。通过ETL软件实现数据仓库设计与建设,满足百万级离线数据采集,实现数据进入数据仓库并支持日常分析、支撑数据分析系统
蘑菇街(电商)数据仓库开发,使用hive、spark、flink构建离线、事实数仓,实现数百万级大数据仓库的日常数据使用与分析,开发算法,支持数据挖掘需求,如网站流量预测。
通过网络数据采集,结合本地数据进行数据融合,然后进行综合分析,得出不同人群的流失情况,为企业重大商业决策提供有效情报。 使用pyhton进行人员辅助信息让采集,如小区住宅租售价格等,聚类算法进行人群分类。 通过数据仓库技术进行数据采集、抽取、转换 通过人群流失分析技术得出不
通过Python获取电商手机信息,品牌、价格等 利用pyhton编写脚本,使得数据定期获取、自动清洗、自动入库