本人主要从事数据收集,数据清洗,数据分析,数据可视化和机器学习业务。
数据收集: SQL, MongoDB,Bigquery, Google Map API, Python(Scrapy)爬虫,Sleneium, Splash
数据清洗及数据分析: Python(pandas,numpy), R(tidyverse),SQL
数据可视化:Python(seaborn),R(ggplot2,ShinyApps),Plotly
机器学习:Python(Keras, Scikit-Learn), R(Caret)
1.bilibili 爬虫,获取某分区10万余条视频信息(收藏,观看,弹幕于评论文本等)
2.链家爬虫,获取给定城市新房,二手房,租房等房源信息(平均每座城市耗时15分钟)。
3.Airbnb爬虫,获取给定城市租房房源信息(平均每分钟400条房源信息)
4.使用R shiny为Autodesk制作dashboard,用以监控产品使用情况。
5.参与Sun Run机器学习项目,通过无监督学习帮助公司高层制定战略发展方向。