|
|
30d0ff5695
|
fix(local-tool): 推論 bbox 標註不顯示 — 前端 canvas 尺寸 + KL520 reset + 延長 timeout
症狀：Mac 版上傳單張圖推論，畫面完全沒有 bbox 標註。實測追根因後發現
兩層獨立問題疊加（前端 + 後端），擇一修復都無法解決。
## Layer 1: 前端 canvas 尺寸對不上 img 顯示尺寸
- camera-inference-view.tsx renderedSize 初始值硬寫 {w:640, h:480}
- ResizeObserver 理應在 <img> load 後 fire，但實測沒 fire 或時機不對
- 結果 overlay canvas 永遠用 640×480 畫，bbox 嚴重偏位或跑出 canvas
修法（camera-feed.tsx + camera-inference-view.tsx）：
- <img> 加 onLoad handler，decode 完立刻用 getBoundingClientRect 回報
- ResizeObserver effect 進來先檢查 img.complete && naturalWidth > 0，
是就立刻 report（cover HMR / cached image）
- effect 依賴加 streamUrl / batchImageUrl，換圖會重觀察
- renderedSize 初始值改 null，overlay 改為拿到真實尺寸才 render
- setState callback 用 prev 比對，同尺寸不觸發 render
- camera-overlay.tsx 加 [bbox-debug] console.log 保留（debug 成本低，
對未來排查有幫助）
## Layer 2: KL520 推論炸 ApiKPException Error 15
- kp.inference.generic_image_inference_send 回 SEND_DATA_TOO_LARGE
- 試過 image 尺寸（516×640 / 640×794 / 640×640 host pad）、numpy vs
bytes、明確傳 width/height — 全部炸
- Python bridge 直接測試（/tmp/test_bridge.py）做完整
`connect → reset → reconnect → load_model → inference` 序列 → 11 個
detection 正常回傳
- Go driver 走 `connect → load_model → inference` 跳過 reset
根因：commit ddf0eb8（2026-04-16）「KL520 首次 connect 跳過 reset」當時
為解 Windows 60s HTTP timeout 的優化。但副作用：KL520 若 session 間
firmware 殘留（fw=KDP2 Comp/U），直接 load_model + inference 100% 炸
Error 15。必須走完整 reset → 退回 Loader → 重新載 firmware → Comp/U
流程才能得到能 inference 的 session。
修法（kl720_driver.go）：
- 移除「KL520 跳過 reset」特例，讓 KL520 和 KL720 都走 needsReset → restartBridge
- 註解記錄 trade-off：KL520 connect 時間 ~2s → ~15-20s（macOS），
Windows 可能 60s+
## HTTP timeout 配套調整
- device_handler.go ConnectDevice timeout 60s → 120s
- Windows worst-case（~65s：Loader reconnect 16s + firmware load 31s +
reboot 8s + reconnect 5s）留 buffer，避免 504 CONNECT_TIMEOUT
## Bridge 清理
- kneron_bridge.py 清掉中途試驗遺留的 `_host_preproc` 死碼
（還原成原版 _correct_bbox_for_letterbox）
- 加了 debug log（Inference: sending / parse done / EXCEPTION with
traceback）保留，未來排查 inference 路徑很有用
## 驗證（function 層）
/tmp/test_bridge.py 三種尺寸全通過：
- 516×640 直式 → 11 detections (person×8, tie×3) latency 308ms
- 1920×1080 横式 → 0 detections（合成圖，正常）
- 512×512 正方 → 0 detections
## 待使用者驗證
- Mac UI 實測：上傳 ~/Downloads/000000000459.jpg 應見 11 個 bbox 精準框住
- Windows 實測 connect 耗時 + timeout 是否足夠
- Linux 實測
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-21 01:12:10 +08:00 |
|
|
|
db272cac5a
|
feat(local-tool): Linux udev rule 未安裝偵測 + 一鍵安裝 UX
使用者在 Ubuntu 上 scan 不到 Kneron 裝置。根因：Linux 預設 USB 裝置
權限是 root only，非 root 使用者的 kp.core.scan_devices 因 permission
denied 而 silently 回傳 0 裝置。需要安裝 udev rule。
修法三層：
1. Server：GET/POST /api/devices 在 Linux + 0 裝置 + udev rule 不存在
時帶 udevHint: true
2. 新增 POST /api/system/install-udev：用 pkexec 提權安裝 99-kneron.rules
+ reload udev（彈 Linux 圖形化密碼對話框）
3. 前端 devices page：udevHint=true 時顯示 amber 色 banner 提示 +
一鍵安裝按鈕，成功後自動 rescan
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
|
2026-04-16 23:20:28 +08:00 |
|
|
|
3c6971febd
|
fix(local-tool): Review M1-M4 + m5 修復 — flash 生命週期 + store 隔離
Review 問題修復：
M1（寫已關閉 channel panic）：
- flash service goroutine 改成先等 driver.Flash() 返回，再寫 error 訊息，最後 close
- driver.Flash 返回後保證不再寫 progressCh，消除 race condition
M2（FlashTask 永不清除 memory leak）：
- service.go 新增 CleanupTask(taskID) 公開方法
- device_handler.go 的 goroutine 在 `for range progressCh` 結束後呼叫 CleanupTask
M3（同裝置重複 flash taskID 衝突）：
- ProgressTracker.Create 改成：舊 task 未完成時返回 nil
- StartFlash 檢查 nil → 回傳 "flash already in progress" 錯誤
M4（前端 flash store 全域不區分 deviceId）：
- flash-store.ts 新增 activeDeviceId 欄位
- updateProgress 改接 (deviceId, progress)，比對 activeDeviceId 防止混裝
- use-flash-progress.ts 的 WebSocket callback 傳入 deviceId
m5（flash_ws.go 雙重 conn.Close）：
- read pump goroutine 移除 defer conn.Close()，由外層 defer 統一關閉
額外修復（S4）：
- modelPath 為空時直接回 error 而非傳無效路徑給 driver
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
|
2026-04-12 20:16:24 +08:00 |
|
|
|
44711753ae
|
feat(local-tool): 推論功能完整搬入 — flash 模組 + workspace 推論介面
## 後端（Phase 1）
新增 flash 模組（從 edge-ai-platform 搬入）：
- server/internal/flash/service.go：StartFlash + 模型相容性檢查 + 晶片 NEF 解析
- server/internal/flash/progress.go：Flash 進度追蹤器
- server/internal/api/ws/flash_ws.go：WebSocket 推送 flash 進度
- device_handler.go：新增 FlashDevice method + flashSvc 欄位
- router.go：新增 POST /api/devices/:id/flash + WS /ws/devices/:id/flash-progress
- main.go：初始化 flash.NewService 並傳入 router
推論/攝影機/MJPEG/inference WebSocket 之前 M1 已搬好，不需改動。
Python bridge (kneron_bridge.py) 與 edge-ai-platform 完全相同，不需改動。
## 前端 store + hooks（Phase 2）
- stores/flash-store.ts（新）：Zustand store — startFlash / updateProgress / retryFlash / reset
- hooks/use-flash-progress.ts（新）：WebSocket hook 接收 flash 進度
inference-store / camera-store / inference types / use-inference-stream / use-websocket
之前 M1 已搬好，不需改動。
## 前端 UI 元件（Phase 3）
- components/devices/flash-dialog.tsx（新）：模型載入對話框 + 硬體相容性檢查
- components/devices/flash-progress.tsx（新）：Flash 進度條 + 錯誤重試
camera-inference-view / camera-feed / camera-overlay / source-selector /
inference-panel / performance-metrics / classification-result / confidence-slider /
video-progress / batch-image-thumbnails 之前 M1 已搬好。
## 前端頁面整合（Phase 4）
- workspace/page.tsx：繁中硬編碼、顯示已載入模型名稱
- workspace/[deviceId]/workspace-client.tsx：加入 FlashDialog 按鈕 + 繁中硬編碼
- devices/[id]/device-detail-client.tsx：加入 FlashDialog + 「進入工作區」按鈕（模型已載入才顯示）
- device-card.tsx：已連線 + 模型已載入時顯示「工作區」快捷按鈕
## 使用者操作流程
裝置列表 → 連線 → 管理 → 載入模型 → 進入工作區 → 選攝影機/圖片/影片 → 開始推論 → 看 bounding box / FPS / latency
或：裝置列表 → 工作區（已有模型）→ 直接推論
## 不搬的東西
- cluster/* 全部不搬（已砍 cluster 功能）
- relay / tunnel 相關不搬
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
|
2026-04-12 20:07:09 +08:00 |
|
|
|
c54f16fca0
|
Initial commit: visionA monorepo with local-tool subproject
local-tool/: visionA-local desktop app
- M1: Wails shell + Go server + Next.js UI + Mock mode (macOS dmg ready)
- M2: i18n (zh-TW/en) + Settings 4-tab refactor
- M3: Embedded Python 3.12 runtime (python-build-standalone) + KneronPLUS wheels
- M4: Windows Inno Setup script (build on Windows runner)
- M5: Linux AppImage script + udev rule (build on Linux runner)
- M6: ffmpeg (GPL, pending legal review) + yt-dlp bundled
- Lifecycle: watchServer health check, fatal native dialog,
Wails IPC raise endpoint, stale process cleanup
.autoflow/: full PRD / Design Spec / Architecture / Testing docs
(4 rounds tri-party discussion + cross review)
.github/workflows/: macOS / Windows / Linux build CI
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
|
2026-04-11 22:10:38 +08:00 |
|
