熟悉各种大型网页抓取 又数万条入库经验。会js加密。selenium模拟登陆。划块轨迹反扒破解。图像识别破解。用管道生成本地文件,管道连接数据库,redis远程分布式爬取,各大平台的数据轻松爬取毫无困难 高效迅捷
曾经在金融公司抓取过金融信息
在数据公司抓取过政府信息
曾经在字节实习过一个月 由于课程愿因辞职
熟悉了解各种反爬机制
爬取之后生成的json文件入库 半小时内完成几千条的入库与本地保存 爬取数据效率极高,准确率极高。内包含了页面的各项数据
曾经设计过任意两地的任意时间的12306的票能够准确无误的爬取数据 破解了12306的登录 图像识别