网页数据抓取器

工具-办公软件 华美网络

这是一种“网络爬虫”，用于抓取网站的数据。最初实施于某国家级政府机关单位，用于抓取国外特定网站上的数据，包括日韩欧美等近20个特定网站上的数据。后又用于抓取其它多个领域的网站数据 1. 功能特点 可以对要抓取数据的网站进行配置，核心代码根据配置对各个网站进行解析，获取有用数据存储入库，可以进行复杂的数据提取，比如下载分页的pdf附件，在附件可有可无、名称不确定、页数不确定的情况下也能正确抓取； 可以指定抓取某个网站上的某个网页的某个区域的数据； 可以模仿人工浏览网页的方式执行数据抓取。比如抓取某网站的pdf文件，手工操作按照这些步骤进行：第一步需要先输入用户名密码后登录，第...