1. 熟练掌握python编程 ;
2. 熟悉常用linux命令 ;
3. 熟练使用爬虫框架scrapy、pyspider,web开发框架flask等;
4. 熟练使用mysql、mongodb、redis数据库;
5. 熟悉HTML、CSS、Javascript、jQuery以及AJAX等前端技术;
1. 舆情分析采集系统。通过搭建采集网站,定时增量或全量采集网站信息并存储到mongodb、MySQL数据库。
2. 各种微博微信公众号采集、舆情新闻类、政府公开信息采集、手机app采集、对接三方网站接口等。
3. 可实现网站模拟登陆、反扒破解、验证码识别、随机IP、数据去重等
4. web后台接口服务简单搭建