基本信息

案例ID:217667

技术顾问: - 1年经验 - 福建江夏学院

联系沟通

微信扫码,建群沟通

项目名称:link_crawl

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

封装了4个api接口:
1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link
默认:{ url_type: single, max_depth: 0 }
用户传入 post请求 start_url

2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links
默认:{ url_type: single, max_depth: 1 }
用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改

3. 根据链接:http://127.0.0.1:5000/api/v2/multiple/links
默认:{ url_type: multiple, max_depth: 0 }
用户输入 start_urls 列表["",""]

4. 根据链接及其子链接:http://127.0.0.1:5000/api/v2/multiple/slinks
默认:{ url_type: multiple, max_depth: 1 }
用户输入 start_urls 列表,要想爬取更多的子链接 max_depth: 可相应修改
------------------------------------------------------------------------------------------------------------------------
总之一句话,爬取任意链接的文本信息(单/多,子链接),并已经封装成了api接口,你部署到云服务器上,就可以一直使用了

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服