cfy666
ed95ce56a8
修复了用户关闭摄像头后，使用文本输入时 AI 仍会分析黑色画面的问题。 变更： - sendTextMessage: 只在摄像头开启时捕获画面 - 待发消息队列: 根据摄像头状态决定是否携带画面 效果： - 摄像头关闭时纯文本对话，不提及画面 - 节省 token 消耗和网络带宽 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
CamTalk 设计文档
CamTalk 是一款多模态实时 AI 视觉对话助手。用户通过摄像头和麦克风与 AI 交互，AI 理解视觉场景和语音输入后，以文字和语音形式给出自然回应。
文档索引
| 文档 | 说明 |
|---|---|
| 01-架构设计 | 系统架构、技术栈、模块设计、数据库、部署架构（含 Mermaid 图） |
| 02-接口文档 | WebSocket 协议、REST API、AI 服务层、Eino 编排器、Session Manager、配置管理、数据模型、错误码 |
| 03-技术选型 | 各技术的选型对比与决策理由（含 Eino 框架选型） |
| 04-用户故事 | P0/P1/P2 用户故事、验收标准 |
| 05-语音交互 | VAD → STT → LLM → TTS 全链路、延迟优化 |
| 06-视觉理解 | 帧采样策略、图像编码、多模态 LLM 输入机制 |
| 07-成本控制 | 智能采样、端云协同、模型分级、缓存复用 |
| 08-功能创意 | 未来功能创意清单 |
| 09-技术名词解释 | 前端/后端/AI 服务/Eino 框架技术名词简明解释 |
| 10-Eino重构方案 | Eino Graph 替换手写 goroutine 管道的设计方案 |
| 11-Eino框架技术文档 | Eino 框架在 CamTalk 中的使用指南（Graph、Lambda、Callback、State） |
推荐阅读顺序
- 01-架构设计 — 理解三层架构、技术栈和模块全貌
- 02-接口文档 — 前后端通信契约，实现时的最高依据
- 03-技术选型 — 了解为什么选这些技术（含 Eino 框架）
- 04-用户故事 — 明确功能优先级
- 05~07 — 各技术领域的详细设计
- 09-技术名词解释 — 遇到不熟悉的名词时查阅
- 10~12 — Eino 重构相关（方案、框架文档、实施记录）