1.从玩python到现在已经有两年了
熟练掌握python爬虫,掌握一般反爬技术,例如js反爬,css反爬,会使用ip代理
掌握scrapy爬虫框架,开发部署过分布式爬虫
2.一年的大数据开发经验,掌握大数据存储技术,熟悉hadoop生态
掌握spark和mapreduce等计算引擎
hive、hbase,impala等分布式数据库
mysql、radis这些也熟练
web爬虫,例如:微博爬虫、微信公众号爬虫、知网爬虫、各院校官网爬虫。
教育大数据舆情分析,主要负责数据统计入库ETL,以及文本的情感分析和分类