# TalkGuy

**Repository Path**: knifecms/talk-guy

## Basic Information

- **Project Name**: TalkGuy
- **Description**: 借助NVIDIA ACE技术实现的一款虚拟人，用于英语聊天，学习
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-01-03
- **Last Updated**: 2026-01-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Talk Guy - 虚拟人英语对话游戏

基于 NVIDIA ACE 技术的交互式虚拟人游戏，通过开放式语音对话进行英语学习。

## 功能特性

- **语音识别**：使用 NVIDIA Riva/Whisper 实现实时语音转文字
- **语音合成**：使用 NVIDIA Riva TTS 实现自然的文字转语音
- **面部动画**：NVIDIA ACE Audio2Face 实现逼真的口型同步和表情
- **语法纠正**：实时语法和词汇反馈
- **语言游戏**：互动词汇游戏和测验
- **话题探索**：AI驱动的对话话题建议
- **3D虚拟人**：使用 Three.js 的交互式3D虚拟形象

## 技术栈

- **前端**：React + TypeScript + Three.js
- **后端**：Python FastAPI
- **AI/ML**：NVIDIA ACE, OpenAI GPT-4
- **音频**：NVIDIA Riva ASR/TTS

## 安装配置

### 前置要求

- Node.js 18+
- Python 3.10+
- 支持 CUDA 的 NVIDIA GPU
- NVIDIA ACE SDK
- OpenAI API 密钥

### 安装步骤

```bash
npm run install:all
```

### 配置说明

1. 将 `.env.example` 复制为 `.env` 并配置您的 API 密钥
2. 设置 NVIDIA ACE 环境变量
3. 配置 OpenAI API 密钥

### 运行应用

```bash
npm run dev
```

前端地址：`http://localhost:5173`
后端API地址：`http://localhost:8000`

## 项目结构

```
talk-guy/
├── frontend/          # React 前端应用
│   ├── src/
│   │   ├── components/    # React 组件
│   │   ├── services/      # API 服务
│   │   ├── utils/         # 工具函数
│   │   └── types/         # TypeScript 类型定义
│   └── public/
│       └── models/        # 3D 模型文件
├── backend/           # Python FastAPI 后端
│   ├── api/           # API 端点
│   ├── services/      # 业务逻辑
│   │   ├── asr/       # 语音识别
│   │   ├── tts/       # 语音合成
│   │   ├── llm/       # LLM 集成
│   │   ├── grammar/   # 语法纠正
│   │   └── ace/       # NVIDIA ACE 集成
│   └── models/        # 数据库模型
└── docs/              # 文档
```

## 使用方法

1. 启动应用程序
2. 点击麦克风按钮开始说话
3. 虚拟人会回应并提供反馈
4. 进行对话或玩语言游戏

## 核心功能说明

### 对话模式
- 与虚拟人进行自由对话
- 实时语法纠正和词汇建议
- 智能话题推荐，引导持续交流
- 支持语音和文字输入

### 游戏模式
- **词汇联想**：通过词汇链练习词汇
- **故事构建**：合作创作故事
- **场景角色扮演**：在真实场景中练习英语
- **词汇测验**：测试和扩展词汇量
- **发音练习**：获得发音反馈和指导

### 学习辅助
- 实时语法检查和纠正
- 词汇改进建议
- 发音提示
- 英语水平评估

## 许可证

MIT