小王大人的案例列表

四库一平台数据爬取

人工智能-其他 小王大人

返回的headers会多一个accessToken,而这个参数就是点击验证码以后返回的参数,所以当去请求详情页的时候必须要带上这个accessToken才会返回正确的请求内容,而好多人都是卡在了这个地方,这里我用了两种方式进行解决的,一开始考虑使用自动化浏览器去进行点击,然后将验证码发送给第三方,返回坐标值之后再进行验证码的点击,这种方式就是导致时间长,因为需要截图,发送给第三方,返回坐标值,进行点击,然后才会返回正确的accessToken。导致没法高并发,而且因为是进行验证码的坐标点击,有的时候识别率还是很低的,而且四库一平台的网站会进行ip的封禁,如果在使用自动化浏览器的时候携带上代理就...

四库一平台数据爬取
四库一平台数据爬取
四库一平台数据爬取

行政区划代码和城乡区划代码爬取

人工智能-其他 小王大人

结果预览,爬取了对应的province_code, province_name, city_code, city_name, county_code, county_name, viliage_code, vilage_name,爬取问题:构造多线程爬取,发现短时间频繁对网站发起请求会导致请求不到页面,故直接单线程就慢慢爬吧...

行政区划代码和城乡区划代码爬取
行政区划代码和城乡区划代码爬取
------ 加载完毕 ------
联系需求方端客服