ai数字人

猿急送>上海其它兼职程序员>LiChenYiGeek>

案例列表

基本信息

案例ID：220983

技术顾问：LiChenYiGeek - 12年经验 - 苏州迅智源

联系沟通

微信扫码，建群沟通

项目名称：ai数字人

所属行业：人工智能 - 其他

->查看更多案例

案例介绍

AI数字人是一个结合了多种先进技术的项目，它允许用户与一个虚拟的、类似《原神》游戏中派蒙角色的数字人物进行交互。以下是关于如何使用和构建AI派蒙数字人的一些详细信息：

### 技术构成：

1. **语音识别**：使用阿里达摩院的Paraformer模型，将用户的语音输入转换为文字。
2. **语言模型**：基于OpenAI的ChatGPT进行训练，生成自然语言应答。
3. **语音生成模型**：使用VITS模型将文字转换为语音。
4. **情绪分类**：利用Google开发的BERT模型进行情感分析，根据结果对数字人的表情和动作进行预设。
5. **前端展示**：使用UE5引擎来展示数字人物的表情和动作。

### 使用步骤：

1. **API申请**：调用OpenAI提供的API，使用机器学习模型进行文本生成。
2. **对话生成**：可以使用GPT-3.5接口或网页版ChatGPT Plus进行对话。
3. **催眠ChatGPT**：为了让ChatGPT模拟派蒙的角色，可以使用特定的提示词和性格描述来训练模型。

### 构建数字派蒙机器人：

- **Renpy**：这是一个视觉小说引擎，用于创建交互式故事。
- **Live2d**：用于生成具有动态效果的模型。
- **Socket通讯**：用于处理前端和后端的信息交互。

### 注意事项：

- 这个项目需要在具备一定硬件配置的PC上运行，至少需要一块9系NVIDIA显卡作为服务端。
- 客户端可以在PC或安卓设备上运行。