7年+数据分析、数据挖掘等数据方向的软件开发经验
擅长爬虫、数据采集、数据ETL、数据集成平台的需求分析和开发维护
技术栈: python java sql;spark hadoop等大数据工具;爬虫
数据采集开发;对房地产中介平台、金融平台、各大音乐视频网站、二手车交易等网站都有成熟系统的数据采集经验
数据ETL开发
大数据画像系统
房地产数据采集分析成功爬取类各大二手房网站的新房及二手房交易及挂牌的数据,数据包含该套房屋对应的多个维度的属性信息。对采集的数据进行加工和分析后,形成的数据有利于对城市商业区域分析、用户画像等产品形成数据支撑
内容推荐系统的搭建,包括全网及竞品热点数据采集分析、用户偏好分析、内容排序、个性化运营等系统的开发设计