1. 硕士以上学历,算法基础扎实,精通Java开发,有二年以上大规模爬虫系统开发经验,熟悉爬虫全栈基础技术;
2. 熟悉常见反爬机制, 有独立处理账号限制、复杂验证码、模拟登陆、数据加密等疑难问题的能力;
3. 熟悉Linux操作系统,熟悉MySQL、MongoDB、Redis等常用数据库;
4. 有分布式、高并发、高负载、高可用系统设计、开发和调优经验;
5. 熟悉Spring Cloud技术体系。
6. 精通Java编程语言,熟练使用HttpClient、正则表达式、JSON/XML,熟悉多线程编程
舆情监测与验证系统:
1.负责ins及facebook数据采集工作
2.负责各类新闻网站全站新闻采集工作
3.负责爬虫系统框架设计及部分重要组件开发工作