要求:语言python web接口框架fastapi 爬虫尽量使用异步爬虫和节省性能消耗方案,如果业务上只能使用非异步那么使用非异步爬虫,保证可以在linux服务器上运行,我会提供相应服务器
功能说明:
http调用该接口,创建两个文件基于时间戳+用户id+直播间id命名的excel文件,一个用于存储弹幕,一个用于存储用户信息,返回路径,后台建立一个采集进程/线程/协程(采集完要关闭),实时采集弹幕和用户信息,写入excel文件
弹幕excel列名:用户id,弹幕内容,弹幕时间
用户excel列名:用户id,用户昵称,年龄等(当前能看到的信息所有)
用户excel要保证非重复,即写入前进行判重,如果重复则不写入
接口说明:
接口名称: /get_douyin_danmu
请求方式: post
请求参数 :
{
"url":"抖音直播间链接",
"user_id":"用户id,开发阶段为0",
}
返回参数:
{
"code": 200,
"data": {
"room_id": "680980",
"room_name": "抖音直播间",
"danmu_path":"弹幕excel路径",
"users_path":"用户excel路径"
}