python 数据采集 、python信息爬取,并对信息进行可视化处理
(运用pandas对数据进行处理,缺失值、异常值、重复数据处理、特征向量化等 )
(根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段,通过requests、xpath等技术手段编写爬虫程序进行内容抓取)
1、爬取网站的动态图片并进行本地保存,爬取过各类表情包
2、爬取网站的小说并进行本地保存
3、爬取网站的豆瓣 电影排行榜 影评
进行 简单封装 requests 请求 利用lxml xpath 定位到需要的 数据 进行下载 保存到本地
简单封装 requqests 请求 lxml xpath 定位需要下载的数据 进行本地抓取 保存