link_crawl

企业服务-数据服务

封装了4个api接口: 1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link 默认:{ url_type: single, max_depth: 0 } 用户传入 post请求 start_url 2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links 默认:{ url_type: single, max_depth: 1 } 用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改 3. 根据链接:http://127.0.0....

link_crawl
link_crawl

py_auto

人工智能-其他

数据同步 同步aws 的s3文档,实时转成PDF并上传到astra DB 用户上传文件(txt,pdf,doc,excel等)到s3,实时使用nifi读取到本地,再进行监控转成pdf,上传到astra DB...

py_auto
py_auto
------ 加载完毕 ------
联系聘用方端客服