jim800121chen
1c53253e6e
問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef， 本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。 根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告）， 尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。 修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）： - onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有 platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍 中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、 removed_tail_softmax metadata - precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、 op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、 刪自由文字猜 op fallback、加噪音 token 過濾 - tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋） - docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits） 行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、 分類後處理需呼叫端自行補 softmax。 Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS （520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Kneron Toolchain Convert Orchestrator
本專案實作「Crash 即 Reset」的 Kneron Toolchain 轉換流程：
ONNX → BIE → NEF。系統以 Scheduler 為控制面，搭配 Worker Pool 與 MinIO 交換產物。
架構以 docs/Design.md 為準。
核心設計（Crash Reset）
- Redis 與 Queue 都是易失性，重啟即清空。
- Scheduler / Worker 不做任務復原。
- Crash 後需重新送出任務。
元件（目標架構）
- Web UI：上傳 model/quant、查狀態、下載結果。
- Task Scheduler：建立 job、更新狀態、派發任務、接收完成事件。
- Worker Pools：ONNX / BIE / NEF Worker，無狀態、pull-based。
- Redis：暫存 job 狀態（不保證持久）。
- Queue：任務/完成事件（不保證持久）。
- MinIO：跨 Worker 的 input/output/log 存放。
Job 流程
- UI 建立 job，並上傳 input 到 MinIO
- Scheduler 推入 queue:onnx
- ONNX Worker 執行完成
- Scheduler 推入 queue:bie
- BIE Worker 執行完成
- Scheduler 推入 queue:nef
- NEF Worker 執行完成
- Scheduler 標記 COMPLETED
Worker API Flags（可選）
這些旗標用於控制 evaluator / simulator 步驟。皆有預設值，不填不影響既有流程。
- ONNX
/api/onnx/processenable_evaluate(default:false): 是否執行 IP evaluator（原 Web GUI 流程為 OFF）enable_sim_fp(default:false): 是否執行浮點 E2E 模擬（尚未接線）
- BIE
/api/bie/processenable_sim_fixed(default:false): 是否執行定點 E2E 模擬（尚未接線）
- NEF
/api/nef/processenable_sim_hw(default:false): 是否執行硬體 E2E 模擬（尚未接線）
流程預設開關對照（原 Web GUI vs 現在 Workers）
| 步驟 | 原 Web GUI 預設 | 現在 Workers 預設 | 開關 |
|---|---|---|---|
| ONNX 轉換/最佳化 | ON | ON | 無 |
| IP Evaluator | OFF | OFF | enable_evaluate |
| FP E2E 模擬 | OFF | OFF | enable_sim_fp |
| BIE 量化 | ON | ON | 無 |
| Fixed-Point E2E 模擬 | OFF | OFF | enable_sim_fixed |
| NEF Compile | ON | ON | 無 |
| HW E2E 模擬 | OFF | OFF | enable_sim_hw |
非目標
- 不做任務持久化
- 不做 crash 後 resume
- 不做 exactly-once / at-least-once 保證
- 不做 Scheduler HA
- 不做自動 retry
備註
- docs/Design.md 為唯一真實設計文件。
- apps/ 與 infra 為實作中的目錄，後續可能變動。
- ktc 有本地 patch 紀錄，見 docs/KTC_PATCHES.md（若 ktc 更新需重新套用並測試）。
目錄結構（概要）
.
├── apps/ # 前端與 Scheduler（實作中）
├── infra/ # 基礎設施相關（實作中）
├── services/ # Worker 服務（ONNX/BIE/NEF）
├── ktc/ # Kneron Toolchain Python API 封裝
├── vendor/ # 上游/第三方模組（sys_flow, sys_flow_v2 等）
├── toolchain/ # 本地 toolchain/prebuild 與相關資源
├── libs/ # toolchain v1 相關資源（來源快照）
├── libs_V2/ # toolchain v2 相關資源（來源快照）
├── scripts/ # toolchain scripts / res / config
├── tests/ # 測試
├── docs/ # 設計文件
│ └── Design.md
└── requirements.txt # Python 依賴