Merge pull request '添加计时器，麦克风，摄像头开关' (#45) from develop-frontend8 into develop 33分钟前 #46

Merged

huanghaosheng merged 60 commits from develop into main 2026-06-13 20:43:07 +08:00

Conversation 0 Commits 60 Files Changed 47 +6615 -521

huanghaosheng commented 2026-06-13 20:43:02 +08:00

Owner

Copy Link

No description provided.

huanghaosheng added 60 commits 2026-06-13 20:43:03 +08:00

Merge pull request 'docs' (#26) from docs into develop ... 0ef7aa657d

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/26

feat: 实现 TTS 语音播放，完成 MVP P0 全部用户故事 ... 6a47c4dfbb

- 新增 TTSPlayer：收集流式 tts_audio 片段，is_last 时拼接解码播放
- useVisionSession 接入 TTS 播放器，interrupt/stopSession 时停止播放
- App 显示 '🔊 正在播放...' 指示器
- MVP P0 四个用户故事前端全部实现（US-01 ~ US-04）

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request 'feat: 实现 TTS 语音播放，完成 MVP P0 全部用户故事' (#27) from develop-frontend2 into develop ... 8033807f7c

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/27

docs: 补充跨域处理方案（Nginx 同源反代 + Vite proxy） ... 0cafe94f3a

- 02-系统架构: 部署架构改为 Nginx 同源反代模型，新增完整 Nginx 配置和 Vite proxy 配置
- 03-接口文档: 连接管理新增跨域处理小节（生产 Nginx / 开发 Vite proxy / CheckOrigin 策略）

feat: 实现会话配置与多轮上下文 ... 7e3762b589

- 新增 ConfigPanel 组件：TTS 开关、detail level、语言选择
- 新增 storage.ts：配置持久化到 localStorage
- useVisionSession：连接后自动发送 config，维护最近 10 轮对话历史
- App：齿轮按钮展开配置面板，HD 角标，TTS 播放联动 ttsEnabled

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request '实现会话配置与多轮上下文' (#29) from develop-frontend3 into develop ... 8dc59d2c09

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/29

feat: 实现关键帧检测与成本控制 ... 2c6489b9a6

- EdgeProcessor：sampleFrame 降采样 160x120 + compareFrames 像素差异对比
- 重复画面跳过：similarity > 0.9 时不发送 query
- 混合采样策略：静默 5s / 用户说话 1s（docs/08-成本控制.md）
- 请求统计：queryCount + totalTokens 实时显示
- App 状态栏显示成本统计

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request '实现关键帧检测与成本控制' (#30) from develop-frontend4 into develop ... e18a2004a0

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/30

feat: 实现观察模式，支持持续场景监控（US-05/US-10） ... f5536005f6

- 新增 useObservationMode Hook：定时 5s 采帧，similarity < 0.85 触发变化回调
- useVisionSession 新增 dialogue/observation 模式切换
- App Footer 加观察模式切换按钮（激活时蓝色脉冲）
- 视频区左上角显示'👁️ 观察中'绿色角标
- 观察模式下画面变化自动发送 query

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request '实现观察模式，支持持续场景监控（US-05/US-10）' (#31) from develop-frontend5 into develop ... 7e2537104d

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/31

docs: 添加后端分阶段实施计划（8 Phase） ... 2e165a459c

从基础设施到集成测试的完整实施路线图，涵盖 Session Manager、AI 服务层、
Orchestrator 编排、WS Handler 接入、REST API、Rate Limiter 等模块。

Merge pull request 'feature/base-build' (#32) from feature/base-build into develop ... b76a71c128

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/32

feat: 实现 Zap 日志封装 ... d5d584c93b

- 新增 internal/logger/logger.go
- 提供 Init(level, format) 初始化全局 SugaredLogger
- 支持 json/console 两种格式
- 提供 Sync() 刷新缓冲区

feat: 实现错误码常量 + WS 错误发送工具 ... bce3b73480

- 新增 internal/errors/codes.go
- 定义 10 个错误码常量（与接口文档一致）
- 提供 SendWSError 工具函数

feat: 实现配置管理（Viper） ... c523f53724

- 新增 internal/config/config.go，定义完整配置结构体
- 支持 YAML 文件 + 环境变量覆盖（CAMTALK_ 前缀）
- 新增 config.yaml 默认配置文件

feat: main.go 接入配置 + graceful shutdown + logger 迁移 ... da87ec776b

- main.go: 接入 config.Load() 替换硬编码 :8080
- main.go: 添加 signal.NotifyContext + http.Server.Shutdown（10s drain）
- main.go: 初始化 Zap 日志，prod 环境切换 Gin release 模式
- ws/handler.go: 所有 log.Printf 替换为 logger.Log 结构化日志
- 修复 .gitignore 排除规则（/server 仅匹配根目录二进制）
- 新增 zap、viper 依赖

docs: Phase 1 移除 CORS 中间件任务 ... 991ae4834c

- CORS 由 Nginx 反向代理统一处理，不在后端实现

Merge pull request '补充跨域处理方案（Nginx 同源反代 + Vite proxy）' (#33) from feature/phase1 into develop ... 688e13a491

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/33

feat: 定义 SessionManager 接口 + SessionConfigPatch 模型 6b8bd3c554

feat: 实现内存版 SessionManager（TTL 30 分钟，历史上限 20 条） f172e6c468

feat: 实现 Redis 版 SessionManager（Hash + List，TTL 自动刷新） ba6d565c0f

test: 编写 Session Manager 内存实现测试（覆盖 Create/Get/Expire/Destroy/History 上限等） 26f87ce35a

feat: WS handler 接入 SessionManager，main.go 注入依赖 + 健康检查获取活跃会话数 fe4dedec71

Merge pull request '实现会话生命周期管理，让 WS handler 能追踪会话、存储对话历史。' (#35) from feature/phase2 into develop ... 33effe161a

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/35

feat: 定义 STT Service 接口（Recognize + Options） 22784bf421

feat: 实现 Deepgram STT 服务（WebSocket 连接 + 音频发送 + 结果接收） 6fcbf023b4

feat: 实现 Deepgram STT 服务及测试（WebSocket mock，覆盖成功/超时/空音频/多轮 final） 8f9b0b881e

feat: 定义 LLM Service 接口（ChatStream + Request/Chunk/TokenUsage） 078cfe6278

feat: 实现 OpenAI LLM 服务（SSE 流式解析 + 多模态消息构建）及 System Prompt 定义 96b4c4899a

test: 编写 LLM 测试（mock SSE 流，覆盖成功/图片/历史/API 错误/超时/Usage） 90f4b907a7

feat: 定义 TTS Service 接口（SynthesizeStream + Options/Chunk） 450c2c66c3

feat: 实现 OpenAI TTS 服务（逐句合成 + 5s 超时 + 静默跳过失败） acc7dfce43

test: 编写 TTS 测试（mock HTTP，覆盖成功/API 错误/超时/空文本/取消/部分失败/自定义 voice） 29e186c062

chore: go mod tidy 清理依赖 041dee319b

Merge pull request '定义并实现三个 AI 服务客户端，每个服务一个独立包' (#36) from feature/phase3 into develop ... c160e787a6

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/36

feat: 实现 AI Orchestrator（核心编排） ... c9c697fe64

- 实现 Orchestrator 接口（4.1）
- 实现 Sender 接口（4.2）
- 实现 STT → LLM → TTS 流式并行管道（4.3）
- 实现句子切分器（4.4）
- 实现错误降级处理（4.5）
- 实现 Interrupt 支持（4.6）
- 编写完整的单元测试（4.7）

Merge pull request '实现 AI Orchestrator（核心编排）' (#37) from feature/phase4 into develop ... 8e43fb134e

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/37

feat: Phase 5.1 - Client 扩展，添加 orchestrator 依赖 ... 19535e6a37

- 扩展 Client 结构体，添加 sessionManager、orchestrator、cancelFuncs 字段
- 创建 WSClient 适配器实现 orchestrator.Sender 接口
- 更新 ServeWS 函数签名，接收 orchestrator 参数
- 在 main.go 中初始化 AI 服务和 Orchestrator

feat: Phase 5.2 - 实现 query 处理逻辑 ... 314554ded7

- 创建可取消的 context 并存储 cancel func
- 获取对话历史并传递给 orchestrator
- 启动 orchestrator.ProcessQuery goroutine 处理查询
- 请求完成后自动清理 cancel func 和活跃请求标记

fix: Phase 5.3 - 统一使用 client.sessionMgr 调用 UpdateConfig 085e19038b

style: 重构为 Web 端双栏布局，突出对话展示 ... dd64ed23ee

- 重构 App.tsx 为双栏布局：左侧视频面板 + 右侧聊天面板
- 左侧 340px 固定宽度视频区（4:3 比例）
- 右侧对话区 flex:1 占满剩余空间
- Header 改为导航栏风格：标题+副标题+状态标签+设置按钮
- 视频下方控制栏：观察模式/打断/结束对话按钮
- 优化间距、字号、配色，适配桌面端

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request 'feat: 将 Session Manager + Orchestrator 串入 WebSocket handler，实现端到端消息处理。' (#38) from feature/phase5 into develop ... 4aa9f31e57

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/38

chore: 更新 .gitignore，忽略编译产物和临时文件 ... 093dc26fa0

- backend/server：Go 编译二进制
- .playwright-mcp/：浏览器测试临时日志
- *.png：调试截图

Co-Authored-By: Claude <noreply@anthropic.com>

feat: Phase 6.1 - 实现 Session REST API 路由 (POST/DELETE) b7e803fa90

fix: Phase 6.2 - Health 端点对齐接口文档 (uptime_seconds 整数格式) f07916ab0f

feat: Phase 6.3 - 注册 Session REST 路由，统一依赖注入 a6a6a16185

Merge pull request '重构为 Web 端双栏布局，突出对话展示' (#39) from develop-frontend6 into develop ... 0e1f34d7c9

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/39

Merge pull request 'feat: 补全设计文档中的 REST 端点' (#41) from feature/phase6 into develop ... 5afde31a9e

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/41

feat: Phase 8.1 - WS 集成测试 (handler_test.go) ... 0b2bbb827d

使用 Gin test server + gorilla/websocket client 验证完整 WebSocket 流程：
- connected 连接建立、ping/pong 心跳
- 完整 query→stt_result→llm_chunk→tts_audio→llm_done 流程
- interrupt 中断、disconnect 断开清理
- 无效 JSON、未知消息类型错误处理
- 多次查询、无图片查询、TTS 未启用等场景
- 每次连接创建独立会话

docs: Phase 8.2 - 同步接口文档与代码实现 ... 9ce9d8c9f6

修正文档与代码的偏差：
- SessionManager → Manager，补充 GetActiveRequestID/ActiveCount 方法
- Orchestrator 更新为接口 + Sender 抽象模式
- POST /api/sessions 移除未实现的 user_id 字段
- STT 移除未实现的 RecognizeStream 方法
- LLM/TTS 接口名更新为 Service/Request/Chunk/Options
- Message 模型移除 ImageURL/TokensUsed（代码未使用）
- 内存实现 MemoryManager 名称对齐
- WebSocket Handler 集成伪代码更新 ProcessQuery 签名

Merge pull request 'feat: 添加集成测试并同步文档' (#42) from feature/phase8 into develop ... 6b98f35abc

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/42

refactor: 设置面板改为右侧抽屉，修复布局跳动问题 ... f17c3c24a7

- ConfigPanel 重写为 Drawer：右侧 320px 滑入面板 + 半透明遮罩
- 设置按钮始终可见，不依赖连接状态
- 抽屉不推挤主布局，点击遮罩或✕关闭
- 设置项分组显示，带功能描述文案

Co-Authored-By: Claude <noreply@anthropic.com>

feat: 增加深色/浅色主题切换功能 ... 0227822120

- types 新增 Theme 类型（dark/light）
- storage 新增 loadTheme/saveTheme 持久化主题偏好
- ConfigPanel 新增外观分组，主题下拉选择
- App.tsx 通过 data-theme 属性挂载到 html 元素
- App.css 新增 [data-theme=light] 亮色变量覆盖

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request '增加主题切换功能，优化设置界面的面板' (#43) from develop-frontend7 into develop ... f764b3a7d8

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/43

feat: 添加 LIVE 计时器和语言按钮组（P0 优化） ... 188782fa66

- 视频区左上角显示 LIVE 绿色圆点 + 连接时长计时器
- Header 添加中文/EN/日 语言按钮组，一键切换语言
- live-badge、lang-group 样式

Co-Authored-By: Claude <noreply@anthropic.com>

feat: 更新配置文档 0d9d3db73b

feat: 更新模型配置 3c665cde5d

Merge pull request 'feat: 规范化配置文档' (#44) from fix/config-file into develop ... 2a235a94b2

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/44

feat: 底部控制栏添加摄像头/麦克风开关，说话时麦克风脉冲动画 ... 00f10088d0

- useVisionSession 新增 isCameraOn/isMicOn 状态 + toggleCamera/toggleMic
- 底部控制栏添加 📷🎤 图标按钮，开启绿色/关闭红色
- 说话时麦克风按钮绿色脉冲缩放动画（micPulse）
- 按钮样式优化：nowrap 防换行，flex-wrap 自适应

Co-Authored-By: Claude <noreply@anthropic.com>

Merge pull request '添加计时器，麦克风，摄像头开关' (#45) from develop-frontend8 into develop ... 836a61dfd2

Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/45

huanghaosheng merged commit 5eeb592bf0 into main 2026-06-13 20:43:07 +08:00

huanghaosheng referenced this issue from a commit 2026-06-13 20:43:09 +08:00

Merge pull request 'Merge pull request '添加计时器，麦克风，摄像头开关' (#45) from develop-frontend8 into develop 33分钟前' (#46) from develop into main

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

No items

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

cfy777 huanghaosheng

No Assignees

1 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: XEngineers/CamTalk#46