本人有一定的js基础,目前专攻python技术,现已掌握并不断学习python爬虫、scrapy框架、多线程、IP代理、数据清洗(pandas、numpy)等,学习无止境,不会局限于现有技术,保持不断学习不断提升,不断完善的态度,力求写出更好更有效率的代码。
目前已独立完成过的项目案例:学生管理系统、王者荣耀高清壁纸爬取、爱企查企业基本信息爬取、网易云音乐爬取、豆瓣书籍信息爬取等等
爬取豆瓣读书新书速递中基本内容信息,并存储在excel中保存,本案例采用scrapy框架进行爬取信息。
本案例为王者荣耀高清壁纸爬取,案例中采用多线程,将爬取到的内容保存到文件夹中,极大地减少了爬取等待时间。
本案例为王者荣耀高清壁纸爬取,采用多线程的方法,将内容保存在文件夹中,极大地减少了爬取大量数据时等待时间。