XEngineers/CamTalk
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
355 Commits 2 Branches 0 Tags
1079e22699f39fec3f1378c4e7b37bd62c0e728c
Commit Graph

29 Commits

Author SHA1 Message Date
cfy666
1079e22699 feat: 实现自建情景功能 
## 功能概述
- 用户可创建、编辑、删除自定义情景
- 支持自定义情景名称、图标、描述、Prompt、首句引导
- 完整的权限隔离，用户只能管理自己的情景
- 深度集成 Eino 框架，动态加载自建情景 Prompt

## 后端实现
### 数据库
- 新增 user_scenarios 表
- 支持用户配额（最多 20 个）
- 字段验证：description 可选，prompt 最小 10 字符

### API
- GET /api/scenarios - 获取用户情景列表
- POST /api/scenarios - 创建情景
- GET /api/scenarios/:id - 获取详情
- PATCH /api/scenarios/:id - 更新情景
- DELETE /api/scenarios/:id - 删除情景

### Eino 集成
- PipelineState 添加 UserID 字段
- nodes_history 动态加载用户自建情景
- GetScenarioPrompt 支持自建情景优先级

## 前端实现
### 组件
- CreateScenarioModal - 创建情景对话框
- EditScenarioModal - 编辑情景对话框
- ConfigPanel 改造 - 分组显示系统预置和自建情景

### Hook
- useScenarios - 合并系统和自建情景，提供 CRUD 接口

### 国际化
- 中文、英文、日文翻译支持

## 问题修复
- 修复 CORS 问题：使用 Vite 代理
- 统一验证规则：description 可选，prompt 最小 10 字符
- 修复数据库约束：使用 NULLIF 处理空字符串

## 文件变更
新增文件: 13 个
修改文件: 14 个

详见文档: docs/自建情景功能完整文档.md
 2026-06-21 15:38:28 +08:00
cfy666
2fb23852ef feat: 优化情景切换功能 2026-06-20 23:24:32 +08:00
cfy777
9ba4eb4825 Merge pull request 'feat: 优化对话历史功能、增加首页登录页面' (#155) from feat/historychat into develop 
Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/155
 2026-06-20 20:06:39 +08:00
cfy666
ab07e01adf feat: 优化对话历史功能 2026-06-20 19:57:36 +08:00
huanghaosheng
3572b867c0 Merge pull request 'feat: 完善鉴权模块' (#142) from fix/auth into develop 
Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/142
 2026-06-20 16:34:47 +08:00
hhs
970f10a274 fix: 修复前端 lint 错误 — 移除 ref 模式，用 useEffect 依赖注入回调 
- api.ts: 移除 catch 中未使用的 err 变量
- auth.tsx: 去掉 useRef 模式，直接在 useEffect 中注册回调并声明依赖
 2026-06-20 15:07:09 +08:00
hhs
d78cdb509d feat: 前端 401 拦截器 — access token 过期时自动刷新并重试原请求 
api.ts:
- 增加 setAuthCallbacks 回调注入机制（避免 api/auth 循环依赖）
- request() 对非公开路径自动附加 Authorization header
- 收到 401 时自动触发 refresh token 刷新，成功后重试原请求
- 并发保护：多个 401 只触发一次 refresh，其余等待同一 Promise
- refreshTokenDirect 内部方法绕过 401 拦截避免递归

auth.tsx:
- 用 ref 保存 persistAuth/scheduleRefresh 最新引用（避免闭包陈旧）
- 初始化时调用 setAuthCallbacks 注入认证回调
 2026-06-20 14:57:27 +08:00
cfy666
ae9a27c300 feat: 结束视频后保留对话，支持继续文字聊天 
- useVisionSession 新增 stopVideo 回调（停媒体流，保持连接和消息）
- App.tsx 控制区从二态改为三态（initial/video/textOnly）
- 文字对话态显示「重新开始视频」和「结束会话」按钮
- 新增 CSS 样式（video-ended-hint、btn--outline）
- 新增 i18n key（stopVideo/endSession/resumeVideo/video.ended）
- 新增设计方案文档
 2026-06-20 13:48:26 +08:00
cfy666
057a226610 Merge remote-tracking branch 'origin/develop' into feat/optimize 
# Conflicts:
#	frontend/src/lib/errors.ts
 2026-06-14 20:40:05 +08:00
cfy666
b60e513317 feat：添加对话情景功能 2026-06-14 20:32:30 +08:00
cfy777
44f4f3ce1a Merge pull request 'feat：语音对话优化' (#106) from feat/onload into develop 
Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/106
 2026-06-14 19:55:02 +08:00
cfy666
c3118dd72a feat：语音对话优化 2026-06-14 19:54:22 +08:00
hhs
e11934cf70 fix: 移除未使用的变量和导入，修复 tsc 编译错误 2026-06-14 19:37:16 +08:00
cfy666
1109ab41f7 refactor: 将退出登录功能从顶部导航栏移至设置面板 2026-06-14 18:42:47 +08:00
cfy666
8de956719c feat: 实现前端认证系统，WebSocket 连接携带 JWT token 
- 新增 AuthContext/AuthProvider：登录/注册状态管理，JWT 自动刷新
- 新增 AuthPage 组件：登录/注册表单，支持模式切换和前端校验
- 新增 api.ts：封装 auth REST API 客户端（register/login/refresh/logout）
- WebSocket 连接时拼接 ?token=<jwt>，重连自动携带
- useVisionSession 接受 accessToken 参数并透传
- App.tsx 包裹 AuthProvider，未登录时显示登录页
- storage.ts 新增 token/user 的 localStorage 存储
- i18n 新增中/英/日三语 auth 翻译
- App.css 新增 auth 页面和用户 badge 样式
 2026-06-14 18:38:45 +08:00
cfy666
7a0443ebcc style: 样式优化 2026-06-14 16:31:23 +08:00
cfy666
92f3f45c41 feat: 新增会话历史侧边栏，支持新建/切换/删除/重命名会话 
类似 ChatGPT 的侧边栏布局，消息历史持久化到 localStorage。

- 新增 SessionSummary 类型和 localStorage 读写函数
- 新增 useSessionList Hook 管理会话列表 CRUD
- 新增 SessionSidebar 组件（展开/折叠、行内重命名）
- App.tsx 协调 useSessionList 和 useVisionSession
- 消息变化时自动持久化，切换/新建会话时保存并加载
- 新增 i18n 翻译 key（中/英/日）
 2026-06-14 15:44:25 +08:00
cfy666
15b1dd56fa feat: 聊天框与视频功能解耦，输入文字即可开始对话 
之前必须点击「开始对话」连接 WebSocket 后才能使用聊天框。
现在聊天输入框始终可用，输入文字自动连接 WebSocket 并发送消息；
左侧按钮改为「开始视频通话」，单独控制摄像头/麦克风。

- ChatPanel 移除 !isConnected early return，始终显示输入框
- useVisionSession 新增待发消息队列，sendTextMessage 支持自动连接
- startSession 改为仅负责视频（摄像头 + 麦克风 + VAD）
- 修复 statusRef 在 useWebSocketManager 之前声明导致的 TDZ 错误
- 更新 i18n 翻译（新增 controls.startVideo、video.placeholder）
 2026-06-14 15:07:39 +08:00
cfy666
e95b1603c1 feat: 前端 UI 国际化，支持中/英/日三语切换 
之前语言设置只影响后端 AI 行为，前端 UI 文字始终为中文。
新增轻量 i18n 模块（React Context + 翻译字典），切换语言后所有 UI 文字即时刷新。

- 新增 i18n 核心模块和 zh-CN/en-US/ja-JP 翻译文件（约 72 个 key）
- App.tsx 拆分为 App（Provider）+ AppContent（业务），确保 Hook 可访问 Context
- 所有组件通过 useI18n().t() 获取翻译文本
- errors.ts 改为接受翻译函数参数
- storage.ts saveConfig 时派发事件通知 locale 变化
 2026-06-14 14:34:30 +08:00
cfy666
da5c727d8c fix: 修复语音与文字不同步的问题，改为句子级流式播放 
之前前端 TTSPlayer 攒齐所有音频片段后才播放，导致文字全部显示后才开始语音。
改为后端每句 TTS 发送 is_last: true，前端收到每句即加入播放队列，第一句到达即开始播放。

- 后端 Chunk 结构体新增 Final 字段，区分句子结束和整轮结束
- 前端 TTSPlayer 重写为队列式播放，onended 回调自动衔接下一句
- 同步更新接口文档和测试用例
 2026-06-14 13:54:49 +08:00
cfy777
563ca12790 Merge pull request 'fix/hard-code' (#62) from fix/hard-code into develop 
Reviewed-on: http://8.161.227.145:3000/XEngineers/CamTalk/pulls/62
 2026-06-14 12:31:55 +08:00
cfy666
24a6ce5295 fix: 修复新旧 TTS 语音重叠播放的问题 
- TTSPlayer 新增 stopCurrentAudio() 方法，play() 开始前先停止旧音频
- onSpeechEnd 发送新 query 前停止上一轮 TTS 播放
 2026-06-14 12:01:34 +08:00
hhs
4a7cf89f29 fix: 前端 WebSocket URL 改为环境变量或自动推导，消除 localhost 硬编码 2026-06-14 11:55:07 +08:00
cfy666
0227822120 feat: 增加深色/浅色主题切换功能 
- types 新增 Theme 类型（dark/light）
- storage 新增 loadTheme/saveTheme 持久化主题偏好
- ConfigPanel 新增外观分组，主题下拉选择
- App.tsx 通过 data-theme 属性挂载到 html 元素
- App.css 新增 [data-theme=light] 亮色变量覆盖

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-13 17:08:56 +08:00
cfy666
2c6489b9a6 feat: 实现关键帧检测与成本控制 
- EdgeProcessor：sampleFrame 降采样 160x120 + compareFrames 像素差异对比
- 重复画面跳过：similarity > 0.9 时不发送 query
- 混合采样策略：静默 5s / 用户说话 1s（docs/08-成本控制.md）
- 请求统计：queryCount + totalTokens 实时显示
- App 状态栏显示成本统计

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-13 14:38:15 +08:00
cfy666
7e3762b589 feat: 实现会话配置与多轮上下文
All checks were successful
Backend CI / ci (pull_request) Successful in 1m0s
Details
Frontend CI / ci (pull_request) Successful in 1m0s
Details 
- 新增 ConfigPanel 组件：TTS 开关、detail level、语言选择
- 新增 storage.ts：配置持久化到 localStorage
- useVisionSession：连接后自动发送 config，维护最近 10 轮对话历史
- App：齿轮按钮展开配置面板，HD 角标，TTS 播放联动 ttsEnabled

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-13 14:19:47 +08:00
cfy666
6a47c4dfbb feat: 实现 TTS 语音播放，完成 MVP P0 全部用户故事 
- 新增 TTSPlayer：收集流式 tts_audio 片段，is_last 时拼接解码播放
- useVisionSession 接入 TTS 播放器，interrupt/stopSession 时停止播放
- App 显示 '🔊 正在播放...' 指示器
- MVP P0 四个用户故事前端全部实现（US-01 ~ US-04）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-13 13:57:36 +08:00
cfy666
734c93a866 feat: 完善端到端对话闭环，增强消息渲染与错误处理 
- ChatPanel：流式光标动画、token/延迟元数据、自动滚动、三种空状态
- Toast 组件：错误码映射为中文友好文案，3 秒自动消失
- useVisionSession：stt_result 流式更新、防重复发送、打断保存未完成内容、结束清理全部状态
- App：断线提示、视频 loading 遮罩、按钮连接中状态
- ChatMessage 增加 latencyMs、model 字段

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-13 11:43:16 +08:00
cfy666
b5c0d40609 feat: 初始化前端项目，搭建 React + TypeScript + Vite 工程结构 
- 创建 Vite + React 18 + TypeScript 项目（严格模式）
- 安装 @ricky0123/vad-web、onnxruntime-web、uuid 依赖
- 定义全部 WebSocket 消息类型和数据模型（对齐接口文档）
- 实现 WebSocket 连接管理（心跳保活、指数退避重连）
- 实现音频编码工具（PCM↔Base64、DataURL 转换）
- 创建组件骨架：CameraManager、MicManager、EdgeProcessor、WebSocketManager、ChatPanel、VideoPreview
- 实现核心 useVisionSession Hook 骨架
- 配置 ESLint（_前缀变量忽略规则）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-12 17:46:25 +08:00