一、简介:本项目开发机器学习算法的AI-Vtuber,通过数据训练出customized generic model,让AI在直播中实现简单的杂谈+唱歌+游戏的功能(项目预算和交付周期只是拟定的,可根据实际方案进行调整)
二、功能需求:
(只是提供一种思路,若有其他更优思路可修改方案)
①bilibili直播间的事件实时监听框架(已有源码)
②使用自然语言处理技术(如NLU的语义理解和NLG文本生成)来处理观众的弹幕输入和虚拟主播的回复文本输出
③使用文本转语音技术(如开源的VITS模型)将生成的回复文本转为语音
(暂时没想到用哪种技术实现唱歌功能,可以参考下diffsinger模型)
④使用机器学习和深度学习技术(如 DQN 和 RL)来实现打游戏的功能
⑤使用自研的VTS插件控制LIVE2D模型动作(通过捕捉桌面音频驱动LIVE2D模型的动作实现基本的同步口型等动作)
⑥将上述技术整合到一个系统中,并在 bilibili 直播间中实现直播功能
三、人才要求:
1.有AI相关项目的开发经验
2.精通python,熟悉java等主流开发语言,熟悉各类人工智能前沿技术,对大型框架的编写较为熟练
3.时间较为自由充裕,可以在工作日的工作时间进行沟通交流
四、参考产品:
AI虚拟主播参考:
https://www.twitch.tv/motherv3
https://www.youtube.com/@Neurosama
github上的参考:
https://github.com/ponlponl123/AIVTuber
https://github.com/adi-panda/VtuberAI
五、合作方式:
开发方式:远程开发。
开发周期:20-30天