1. 熟练掌握java、python语言,
2. 熟悉掌握js逆向、反混淆、selenium、rpc等反爬技术,
3. 熟悉使用MySQL、Redis、hadoop、kafka等数据库,
4. 熟练使用re、bs4、XPath、pandas等数据解析处理工具,
5. 熟练使用flask、Scrapy等框架。
1. 具有良好的沟通和理解能力
2. 5年爬虫经验
3. 具备企业工商信息、司法经营风险、知识产权、电商平台, vx 小程序等相关网站的采集经验
4. 具备海量数据处理经验,大模型应用经验等