1. 熟练掌握python的flask,tornado,django框架
2. 精通爬虫,熟练掌握破解网站app反爬手段
3. 熟练掌握主流数据库如mysql,mongo,redis,es
4. 熟悉常用消息队列如kafka,rabbitmq
5. 熟练掌握常用docker命令,熟悉Dockerfile及docker-compose文件编写
6. 熟悉简单的模型训练, 训练过破解验证码, 人脸识别, 色情识别等模型
1. 采集过数百家网站数据,攻克过如爱奇艺,优酷,搜狐,乐视等平台反爬手段
2. 采集过数十家房产相关网站,攻克过如房天下, 链家,我爱我家等主流平台反爬手段
3. 编写智能巡检系统,自动化巡检数百万备案网站,检测网站的持证情况, 可访问情况, 判断视听网站等
4. 编写自动化定位小区城区商圈关系模块,自动采集城区商圈及对应坐标点,自动化将小区录入到最近的城区商圈