异步爬虫爬取西游记完整版

企业服务-数据服务 拾贝

使用异步爬虫,高效率爬取百度小说中一部完整小说(以西游记为例),先使用同步操作:访问getCatalog 拿到所有章节的cid和名称,再使用异步操作:访问getChapterContent 下载所有的文章内容...

异步爬虫爬取西游记完整版
异步爬虫爬取西游记完整版

抓取豆瓣电影TOP250信息

企业服务-数据服务 拾贝

通过requests请求拿到页面源代码,再通过正则表达式re模块提取需要的信息,包括TOP250电影名称,上映年份以及评分...

抓取豆瓣电影TOP250信息
抓取豆瓣电影TOP250信息
------ 加载完毕 ------
联系需求方端客服