Python爬虫十年工作经验 熟知各类型反爬解密 熟练掌握爬取各类型网站、APP、小程序 解决各种反爬逻辑
熟练掌握Linux各种命令 搭建爬虫框架
熟练掌握分布式爬虫技术 可以更快更精准获取各类数据
熟练各类数据库的使用 如MySQL Redis MongoDB等
熟练各种数据分析技术 机器学习算法
爬过的重要网站有 淘宝、京东、58同城、各种公众号、各类小程序、境外网站、各类招标网站
淘宝拍卖数据项目
解决登录验证问题 通过解决h5页面cookie验证解决登录验证 利用代理池及Redis分布式爬取淘宝拍卖板块全部数据 利用机器学习优化筛选出需求优质数据 完成需求数据分析
角色 | 职位 |
负责人 | Python工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |