docs: 更新 README 文档
Some checks are pending
Deploy / deploy (push) Waiting to run

This commit is contained in:
hhs
2026-06-14 23:59:00 +08:00
parent dbfdf3c3e5
commit 5d8cacf16d
3 changed files with 37 additions and 12 deletions

3
.gitignore vendored
View File

@@ -22,8 +22,5 @@ Thumbs.db
# ---- Playwright MCP ---- # ---- Playwright MCP ----
.playwright-mcp/ .playwright-mcp/
# ---- 截图 ----
*.png
# ---- Obsidian ---- # ---- Obsidian ----
.obsidian/ .obsidian/

View File

@@ -2,20 +2,48 @@
多模态实时 AI 视觉对话助手。用户通过摄像头和麦克风与 AI 交互AI 理解视觉场景和语音输入后,以文字和语音形式给出自然回应。 多模态实时 AI 视觉对话助手。用户通过摄像头和麦克风与 AI 交互AI 理解视觉场景和语音输入后,以文字和语音形式给出自然回应。
- 路演视频 [哔哩哔哩视频](https://www.bilibili.com/video/BV1dDJK6cE5S/) - **路演视频**[哔哩哔哩弹幕网——七牛云第四批议题1](https://www.bilibili.com/video/BV1dDJK6cE5S/)
- **线上体验**http://8.161.227.145:9000
> ⚠️ **注意**:由于线上地址使用 HTTP 协议,浏览器默认禁止在非 HTTPS 环境下调用摄像头和麦克风。需要按以下步骤配置 Chrome 浏览器:
>
> 1. 在浏览器地址栏中输入 `chrome://flags/#unsafely-treat-insecure-origin-as-secure`,回车
> 2. 将 **Insecure origins treated as secure** 选项设置为 **Enabled**(已启用)
> 3. 在输入框中输入 `http://8.161.227.145:9000` 地址
> 4. 点击右下角弹出的 **Relaunch** 按钮,自动重启浏览器
>
> 重启后即可在该 HTTP 地址下正常调用摄像头和麦克风。
![](docs/pictures/1.png)
## 架构 ## 架构
三层系统,前端做轻量预处理,后端做智能编排,云端 AI 服务按需调用: 三层系统,前端做轻量预处理,后端做智能编排,云端 AI 服务按需调用:
``` ```mermaid
浏览器客户端 Go 网关 :8080 云端 AI 服务 graph TB
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ subgraph client[浏览器客户端]
│ 媒体采集 │ │ WebSocket Handler│ │ STT语音识别 A1[媒体采集]
│ VAD 语音检测 │ WebSocket│ Session Manager │ HTTP │ LLM多模态推理 A2[VAD 语音检测]
│ 关键帧检测 │ ◄──────► │ AI Orchestrator │ ◄──────► │ TTS语音合成 A3[关键帧检测]
│ UI 渲染 │ │ REST API │ │ │ A4[UI 渲染]
└─────────────────┘ └─────────────────┘ └─────────────────┘ end
subgraph gateway[Go 网关 :8080]
B1[WebSocket Handler]
B2[Session Manager]
B3[AI Orchestrator]
B4[REST API]
end
subgraph cloud[云端 AI 服务]
C1[STT 语音识别]
C2[LLM 多模态推理]
C3[TTS 语音合成]
end
client <-->|WebSocket| gateway
gateway <-->|HTTP| cloud
``` ```
**关键模式**LLM 文本流和 TTS 音频流并行推送,用户先看到文字、紧接着听到语音,感知延迟 < 0.5 秒。 **关键模式**LLM 文本流和 TTS 音频流并行推送,用户先看到文字、紧接着听到语音,感知延迟 < 0.5 秒。

BIN
docs/pictures/1.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 176 KiB