封装了4个api接口:
1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link
默认:{ url_type: single, max_depth: 0 }
用户传入 post请求 start_url
2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links
默认:{ url_type: single, max_depth: 1 }
用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改
3. 根据链接:http://127.0.0.1:5000/api/v2/multiple/links
默认:{ url_type: multiple, max_depth: 0 }
用户输入 start_urls 列表["",""]
4. 根据链接及其子链接:http://127.0.0.1:5000/api/v2/multiple/slinks
默认:{ url_type: multiple, max_depth: 1 }
用户输入 start_urls 列表,要想爬取更多的子链接 max_depth: 可相应修改
------------------------------------------------------------------------------------------------------------------------
总之一句话,爬取任意链接的文本信息(单/多,子链接),并已经封装成了api接口,你部署到云服务器上,就可以一直使用了