1、本科以上学历,计算机、软件开发相关专业;
2、熟悉各种结构化数据和非结构化数据的解析
3、5年以上爬虫开发经验
4、phantomjs, nodejs, selenium等自动化工具
5、熟悉Flash,Django, Tornado基于python的web框架,熟悉用这几个框架开发api接口
6、熟悉网页构成,通信原理,js加密,app逆向技术
7、多年的自媒体数据采集的经验:weibo,wechat,douyin,kuaishou,xiaohongshu,toutiao...
8、电商网站的数据采集经验,淘宝,京东,天猫,拼多多...
常见的自媒体数据采集:微博,微信,抖音,快手,小红书,bilibili,头条....
数据采集框架设计和开发
实时数据采集接口开发