1.可熟练使用requests、selenium 、scrapy等库访问网页上的相关数据
2.可以熟练使用lxml 、beautifulsoup、re库,对网页数据进行筛选和解析
3.可以熟练使用csv等第三方库,对爬取下来的数据进行整理和封装。
4.可以熟练使用appium库,对手机app上的数据进行抓取
5.熟练掌握使用tkinter库,可以展示出较好的GUI界面效果
6.熟练掌握使用各种线程、进程、携程,可以快速的、准确的获取相关数据
7.能够破解Js反扒,突破80%的网页,拿到数据
8.熟练使用threading 、gevent和进程,可以方便快捷的获得数据。
1.爬取酷狗音乐、网易云、QQ音乐,喜马拉雅 等各大音乐平台官网上所有的vip歌曲和MV
2.根据项目的需求实现自动登录12306,并且自动的输入相关信息爬取对应的火车票信息
3.爬取爱奇艺、乐视、优酷等视频网站所有的付费电视连续剧、电影
4.根据项目的需求抓取智联招聘、赶集网等网站的简历。账号自动登录,主要是用到cookie和post模拟登录,登录之后需要进行搜索,搜索行业和地区,最后是下载简历。
5.爬取过京东、淘宝等众多电商的全部商品信息,可以破解其中的各种反扒措施,达到获取数据的目的
6.破解QQ空间、工商局等官方网站的滑动验证破解
7.爬取获得QQ阅读、百度文库vip文档、小红书、今日头条的绝大部分阅读网站的数据
这些都是python爬虫源代码被打包后形成的exe软件,点击打开之后在相关输入框输入要下载的音乐名称即可完成下载(不管是付费歌曲还是免费歌曲,只要官网上有均可下载.)。
这是python爬虫的源代码,运行是按照提示信息进行输入(如:输入你要出发的地方 :武汉市,输入你要到达的地方 :上海市,很快用户就可以得到从武汉发往上海的所有列车,可以用于春运时候的抢票),就可以得到相关的数据。
这个软件结合了python爬虫 、GUI可视化界面,等功能,可以在免费线上观看古诗讲解频视,相关资料一键即可下载到本地,界面美观,深得小朋友喜欢。本软件还提供诗词查找功能,可以帮小盆友们快速的了解古诗。