爬虫技术:selenium ,scrapy框架。
个人在近两年自学了一定的Python知识,主要是在Python爬虫方面付出了一定的努力。一定程度上掌握了scrapy和selenium的使用等爬虫所需的基础知识。
本人在学习爬虫过程中也进行了一定的自我训练,确实承认不能算是很好的爬虫工程师,因此本人暂时只能接一些简单的工作进行自我训练以便提高技巧。
本人工资要求较低,现阶段主要是接不急需的简单或者稍复杂的爬虫任务。
1.使用scrapy对微博手机版网站中的个人微博进行爬取,并将数据保存到MongoDB中。
2.爬取中国化妆品的门户信息
3.爬取梨视频视频资源
对梨视频的热门视频进行了爬取,并且对视频进行了持久化存储。爬取梨视频,并不简单,在获取视频url时,该网站的视频url中含有随机数验证参数以及对实际url进行了虚假伪装!本人通过解析,利用部分参数越过了这个障碍
12306验证码采用动态加载,即每次打开,都会随机加载一张验证码,本人采用截图的方式,将验证码获取,并对验证码进行解析来模拟登陆12306