b站评论爬取

人工智能-其他 王浩

公司某app下的评论质量不太好,需要爬取b站高质量的评论,经过数据清洗后提供给算法侧的模型,进行训练优化。 我主要担任数据评论的爬取,整个爬取是我独立负责。...

b站评论爬取
b站评论爬取

分布式爬虫系统的搭建

人工智能-其他 王浩

公司智能聊天机器人需要实时的语料更新,分布式爬虫系统爬取百度贴吧、豆瓣、水木社区等数据源,将获得的数据进行清洗入库 我负责整个爬虫系统的搭建、数据的稳定爬取、数据清洗入库。整个项目是我独立负责。...

分布式爬虫系统的搭建
分布式爬虫系统的搭建
------ 加载完毕 ------
联系需求方端客服