1. 使用Python Requests, Beautiful Soup, 和Urllib设计网络爬虫,通过定位网页html内容的节点与标签,headers中设置user agent反爬机制,以及network抓包,分析ajax的请求和参数,爬取电影信息,小说内容,动漫美女图片,天气数据
2. 使用os模块建立路径,将爬取到的数据,使用pandas整合和处理成excel文件,保存进路径
3. 从豆瓣电影网上爬取并且下载 top250 好评度最高的电影信息,包括电影排名,名称,评分,以及用户数量
4. 从89文学网上爬取并且下载 一整本 厌笔萧生 的帝霸小说
5. 从2345天气王网上爬取北京2012 - 2023 近10年的天气数据
6. 从彼岸图网上爬取并且下载 动漫 风景 影视 美女 等图片数据
7. 往汉城生活网站上,使用爬虫输入用户的姓名,将五格与八格的评分数据,爬取下来