kneron_model_converter

warrenchen/kneron_model_converter

Fork 0

Commit Graph

Author	SHA1	Message	Date
jim800121chen	1c53253e6e	feat(worker): onnx 階段自動移除尾端 Softmax + pre-check regex 收窄問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef，本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告），尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）： - onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有 platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、 removed_tail_softmax metadata - precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、 op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、刪自由文字猜 op fallback、加噪音 token 過濾 - tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋） - docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits）行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、分類後處理需呼叫端自行補 softmax。 Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS （520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-07-06 05:54:13 +08:00
jim800121chen	5a9c1b0140	feat(worker): 加 platform/operator pre-check（不支援 op 早期快速失敗）轉檔時若 op 在目標 platform 不支援（如 Softmax@520），原本會白跑完 onnx+bie 兩階段、最後在 nef 的 batch_compile 拋難懂的 C++ backtrace（undefined CPU op）。本次在 onnx 階段（拿到 out.onnx 後、進 bie 前）用 Kneron IP Evaluator （ktc ModelConfig.evaluate / ip_evaluator mode 0 會跑 compiler frontend）早期偵測不支援 op，快速失敗並回清楚訊息。 - 新增 services/backends/precheck.py：run_precheck 掃 evaluate 的不支援訊號（HardwareNotSupport / UnimplementedFeature / undefined CPU op / EmptyNode）抽出 op 名、raise UnsupportedOperatorError；錯誤走既有 _push_done(fail) 回報 - services/workers/onnx/core.py：enable_precheck default-on；pre-check 與既有 evaluate 共用同一次 evaluate() 呼叫（避免跑兩次 compiler frontend） - error 訊息：「platform 520 不支援 operator Softmax，請改用支援的 platform （如 720/730）或將該 operator 移至 host 端後處理。」 - fail-open：只有明確訊號才擋、evaluate 環境問題無訊號則放行（不誤擋能跑的模型） - 17 tests pass（含多 op / dedup） follow-up（部署後、需 docker toolchain 環境）：integration smoke 真觸發 Softmax@520 確認 onnx 階段就擋；依實測 frontend 耗時評估是否收窄 default-on 粒度。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-07-03 02:51:07 +08:00
warrenchen	fdebf4db5d	Refactor workers to use backend interfaces for quantization, compilation, and evaluation; add optional flags for simulation in request schemas and update documentation accordingly.	2026-02-06 08:24:08 +00:00

Author

SHA1

Message

Date

jim800121chen

1c53253e6e

feat(worker): onnx 階段自動移除尾端 Softmax + pre-check regex 收窄

問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef，
本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。
根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告），
尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。

修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）：
- onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有
  platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍
  中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、
  removed_tail_softmax metadata
- precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、
  op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、
  刪自由文字猜 op fallback、加噪音 token 過濾
- tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋）
- docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits）

行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、
分類後處理需呼叫端自行補 softmax。

Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS
（520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-06 05:54:13 +08:00

jim800121chen

5a9c1b0140

feat(worker): 加 platform/operator pre-check（不支援 op 早期快速失敗）

轉檔時若 op 在目標 platform 不支援（如 Softmax@520），原本會白跑完 onnx+bie
兩階段、最後在 nef 的 batch_compile 拋難懂的 C++ backtrace（undefined CPU op）。
本次在 onnx 階段（拿到 out.onnx 後、進 bie 前）用 Kneron IP Evaluator
（ktc ModelConfig.evaluate / ip_evaluator mode 0 會跑 compiler frontend）
早期偵測不支援 op，快速失敗並回清楚訊息。

- 新增 services/backends/precheck.py：run_precheck 掃 evaluate 的不支援訊號
  （HardwareNotSupport / UnimplementedFeature / undefined CPU op / EmptyNode）
  抽出 op 名、raise UnsupportedOperatorError；錯誤走既有 _push_done(fail) 回報
- services/workers/onnx/core.py：enable_precheck default-on；pre-check 與既有
  evaluate 共用同一次 evaluate() 呼叫（避免跑兩次 compiler frontend）
- error 訊息：「platform 520 不支援 operator Softmax，請改用支援的 platform
  （如 720/730）或將該 operator 移至 host 端後處理。」
- fail-open：只有明確訊號才擋、evaluate 環境問題無訊號則放行（不誤擋能跑的模型）
- 17 tests pass（含多 op / dedup）

follow-up（部署後、需 docker toolchain 環境）：integration smoke 真觸發
Softmax@520 確認 onnx 階段就擋；依實測 frontend 耗時評估是否收窄 default-on 粒度。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-03 02:51:07 +08:00

warrenchen

fdebf4db5d

Refactor workers to use backend interfaces for quantization, compilation, and evaluation; add optional flags for simulation in request schemas and update documentation accordingly.

2026-02-06 08:24:08 +00:00

3 Commits