1.精通python语言,精通python爬虫,熟练应用python库,熟悉基本算法,具备一定的数据分析能力。
2.熟悉mysql,mongo,redis等数据库,熟悉linux系统。
3.现任排名前十的二线互联网公司的高级数据开发工程师。
4.技术水平高,代码规范,平时和周末时间较宽裕。
1.亿级图片爬取:开发主流图片网站,集成图片爬虫系统,破解个网站反爬。
2.微信公众号文章/抖音、快手、哔哩哔哩短视频爬取爬虫:js解密。
3.两百个新闻网站关键词舆情爬虫:根据关键词监控两百个网站的舆情情况。
4.论坛类/电商类数据爬虫的开发。