python:编程语言
Selenium:模拟浏览器进行项目自动化测试或网页数据处理
Requests:通过结果方式访问接口并整理接口数据
Scrapy:一个适用爬取网站数据、提取结构性数据的应用程序框架,它可以应用在广泛领域:Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片
1. 使用selenium访问企*查网页数据,并对想要的数据进行处理保存
2. 使用scrapy抓取政府网站的相关信息并存储数据