具备软件开发能力,可以独立开发python软件,擅长python爬虫,了解并且能熟练使用request,urllib3等爬虫模块,还擅长使用pyqt5的界面软件开发,网络开发的话也擅长django框架。
具备python开发的能力,擅长爬取一些网页的数据,包括图片、文本和视频等。
擅长对ajax动态加载界面的分析和爬取
1.编写过12306的抢票购票软件,其中包括验证的绕过和url的破解,以及cookie的获取和认证,形成一个完整的购票流程。
2.写过一些小的爬虫,包括网站图片的下载,网站小说的爬取和下载等爬虫。
3.有大众点评网页爬取的经验,了解大众点评网站的反爬机制。
作品主要是通过对网页url返回的解析,通过beautifulsoup对其进行信息的提取,而后获取图片的链接将其批量的下载到文件夹中
本系统主要通过对12306接口的调用,实现了一个在线购票抢票的功能,其中主要使用了request模块,和urllib3模块,包括了cookie的获取和验证,验证码的绕过,以及对购票url的实现,项目还调取了携程的接口,实现了在线订购酒店的模块,还要驴妈妈旅游网的接口,实现了景区的
对天气网天气的爬虫,使用request库,对get返还的参数进行分析,分解出其url的构造格式和内容,实现对城市天气的爬取
对大众点评中一线,新一线,二线城市的店铺信息进行爬取,提取出所有的店铺链接和基本信息,包括店铺的评分,评价,地址等基本信息,其中涉及到了很多关键技术,包括最开始的大众点评的验证绕过,cookie的装载和获取,以及之后在爬取过程中url的获取和拼接,获取到url后进入到界面后,因为