warrenchen/kneron_model_converter
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
28 Commits 1 Branch 0 Tags
Commit Graph

8 Commits

Author SHA1 Message Date
jim800121chen
1c53253e6e feat(worker): onnx 階段自動移除尾端 Softmax + pre-check regex 收窄 
問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef，
本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。
根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告），
尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。

修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）：
- onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有
  platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍
  中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、
  removed_tail_softmax metadata
- precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、
  op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、
  刪自由文字猜 op fallback、加噪音 token 過濾
- tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋）
- docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits）

行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、
分類後處理需呼叫端自行補 softmax。

Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS
（520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-06 05:54:13 +08:00
jim800121chen
5a9c1b0140 feat(worker): 加 platform/operator pre-check（不支援 op 早期快速失敗） 
轉檔時若 op 在目標 platform 不支援（如 Softmax@520），原本會白跑完 onnx+bie
兩階段、最後在 nef 的 batch_compile 拋難懂的 C++ backtrace（undefined CPU op）。
本次在 onnx 階段（拿到 out.onnx 後、進 bie 前）用 Kneron IP Evaluator
（ktc ModelConfig.evaluate / ip_evaluator mode 0 會跑 compiler frontend）
早期偵測不支援 op，快速失敗並回清楚訊息。

- 新增 services/backends/precheck.py：run_precheck 掃 evaluate 的不支援訊號
  （HardwareNotSupport / UnimplementedFeature / undefined CPU op / EmptyNode）
  抽出 op 名、raise UnsupportedOperatorError；錯誤走既有 _push_done(fail) 回報
- services/workers/onnx/core.py：enable_precheck default-on；pre-check 與既有
  evaluate 共用同一次 evaluate() 呼叫（避免跑兩次 compiler frontend）
- error 訊息：「platform 520 不支援 operator Softmax，請改用支援的 platform
  （如 720/730）或將該 operator 移至 host 端後處理。」
- fail-open：只有明確訊號才擋、evaluate 環境問題無訊號則放行（不誤擋能跑的模型）
- 17 tests pass（含多 op / dedup）

follow-up（部署後、需 docker toolchain 環境）：integration smoke 真觸發
Softmax@520 確認 onnx 階段就擋；依實測 frontend 耗時評估是否收窄 default-on 粒度。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-03 02:51:07 +08:00
jim800121chen
21f863ae1e fix(worker): real image 加 tensorflow 支援 tflite 輸入格式 
staging real worker 轉 tflite 失敗：tflite→onnx 需要 import tensorflow，但
Dockerfile.real 當初為省 image 大小沒裝 TF（只驗過 onnx/bie/nef 輸入）。

改 services/workers/Dockerfile.real：
- 加 tensorflow-cpu==2.13.1（Python 3.9 相容 + numpy<2 相容 + ktc TF compat
  patch 預期範圍的交集；-cpu 省 ~1.5GB CUDA）
- 加 igraph==1.0.0（tree_structure.py 硬 import、pin 對齊本檔版本鎖哲學）
- 補 typing-extensions>=4.8.0（TF 會把它降版打爆 fastapi import）
- numpy<2 精確化為 numpy==1.23.5（落在原 <2 範圍 + TF 接受窗口、語意子集非破鎖）

本機驗證：image 4.36GB→5.71GB；tflite→onnx 通（產 188 節點合法 ONNX）；既有
BIE→NEF 回歸產出同一顆真 NEF（621,956 bytes）、prebuild ldd 全 resolved。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-02 15:31:59 +08:00
jim800121chen
0cae1b1130 feat(worker): 啟用 staging 真實轉檔（取代 stub）+ 修 ref_images S3 path 
staging worker 原本跑 WORKER_MODE=stub（假轉檔、產佔位 NEF），visionA 因此反映拿到的是 stub。本次讓真實轉檔上線並打通 onnx→bie→nef 完整鏈路。

新增：
- services/workers/Dockerfile.real：真實版 worker image，COPY repo 自帶 ktc/ + toolchain/prebuild（2GB），設 USE_PREBUILD/LD_LIBRARY_PATH/PYTHONPATH/KTC_DISABLE_MP/WORKER_MODE=real；排除 libs/dynasty+libs/compiler 省 3.2G
- .dockerignore：控制 build context（排除被 USE_PREBUILD 取代的舊系統 binaries）
- docker-compose.real.yml：override 三 worker 改用 registry image，保留 base stub build 供一鍵 rollback

修正（e2e 抓到的兩個問題）：
- jobService.js: ref_images S3 key 由 jobs/{id}/ref_images/ 改為 jobs/{id}/input/ref_images/，對齊系統主約定（local.js/legacy.js/bie worker consumer.py），修好 bie 量化抓不到 dataset 的 blocker。加 contract guard test 鎖死寫入 prefix == worker 讀取 prefix
- security.md: 同步 ref_images S3 key 路徑描述

驗證（staging e2e）：
- platform 530（與模型相符）下 onnx→bie→nef 全綠，產真 NEF 636KB（合法 FlatBuffer、非 STUB），/result 可拉、結果上 MinIO
- 已知約定：呼叫端 platform 必須與模型量化 platform 一致（配錯會在 bie 量化階段失敗）

scheduler 全套件 667 tests pass。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 12:43:24 +08:00
jim800121chen
efa67d59a4 Add web frontend, MinIO storage, monitoring, and docker-compose deployment 
- Frontend: rewrite Home.vue to match backend POST /jobs API (remove single-stage options)
- Frontend: add Monitor page (/monitor) for queue and job monitoring
- Frontend: add job history with localStorage tracking (per-browser)
- Frontend: fix Nginx proxy rewrite (/api -> /) and add 500MB upload limit
- Backend: add MinIO storage support (STORAGE_BACKEND=minio) alongside local mode
- Backend: add GET /queues/stats API for queue monitoring
- Backend: fix download handler for MinIO (buffer mode for Node 18 compat)
- Workers: add S3/MinIO download/upload in consumer.py with isolated temp dirs
- Workers: add s3_storage.py helper with lifecycle rule (7-day TTL)
- Docker: add docker-compose.yml with all services (web, scheduler, redis, workers)
- Docker: ports mapped to 9500 (web) and 9501 (scheduler)
- Config: add .env to .gitignore to protect secrets

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-04-01 15:04:09 +08:00
warrenchen
fdebf4db5d Refactor workers to use backend interfaces for quantization, compilation, and evaluation; add optional flags for simulation in request schemas and update documentation accordingly. 2026-02-06 08:24:08 +00:00
warrenchen
e93a1a5996 Complete tests for workers, with source file format onnx and tflite 2026-01-29 03:04:41 +00:00
warrenchen
31f61b5122 Initail project 2026-01-28 06:16:04 +00:00