1.擅长使用python进行网络爬虫开发、selenium自动化;
2.擅长使用postman进行接口测试;
3.比较熟练的使用MySQL数据库;
4.自主开发过教务系统数据爬虫系统,主要功能是实现模拟登录教务系统,爬取教务系统课表数据及其学生相关信息
全国排污信息爬取:该项目是爬取全国排污许可证管理信息平台的数据,实现自定义爬取某省份某市某行业的排污信息数据,将最终获取的企业结果保存到表格
bilibili的用户爬取:该项目是实现抓取已经注册bilibili的用户,抓取的字段有用户id,昵称,性别,头像,等级,经验值等。将抓取到的数据结果,保存为MySQL数据库文件
项目是实现抓取已经注册bilibili的用户,抓取的字段:用户id,昵称,性别,头像,等级,经验值等。将抓取到的数据结果,保存为MySQL数据库文件
1.该项目是实现自定义爬取需要的豆瓣书籍信息。 2.项目共分为三个模块,即书本列表(do_spider)、书本爬虫(book_spider)、生成excel表格(print_book_lists_excel)。do_spider模块是将待爬取的书籍数据一次传入book_spid