主要是爬取一些小型网站的数据,比如维基百科、百度知道和一些算法组想爬的网站。直接用模拟浏览器访问的方式来爬取,用 Puppeteer、Pyppeteer、Selenium、Splash 等,这样爬取到的源代码。同时也就绕过分析 Ajax 等 JavaScript 逻辑的过程。
主要是爬取一些小型网站的数据,比如维基百科、百度知道和一些算法组想爬的网站。直接用模拟浏览器访问的方式来爬取,用 Puppeteer、Pyppeteer、Selenium、Splash 等,这样爬取到的源代码。同时也就绕过分析 Ajax 等 JavaScript 逻辑的过程。