kneron_model_converter

warrenchen/kneron_model_converter

Fork 0

Commit Graph

Author	SHA1	Message	Date
jim800121chen	1c53253e6e	feat(worker): onnx 階段自動移除尾端 Softmax + pre-check regex 收窄問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef，本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告），尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）： - onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有 platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、 removed_tail_softmax metadata - precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、 op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、刪自由文字猜 op fallback、加噪音 token 過濾 - tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋） - docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits）行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、分類後處理需呼叫端自行補 softmax。 Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS （520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-07-06 05:54:13 +08:00
jim800121chen	d8a9517c9d	feat(task-scheduler): Phase 0.8b — API key auth + /result endpoint Auth pillar 從 OAuth 2.0 resource server 改成 pre-shared API key （visionA ↔ converter 1:1 internal trust）。新增 GET /api/v1/jobs/:id/result streaming endpoint 給 visionA backend 中轉 NEF 下載。 Phase A（auth 切換）： - 新增 apiKeyMiddleware（constant-time compare、tokenFingerprint、4 audit events） - 砍 OAuth middleware + JWKS（保留 oauthClient 供 promote → FAA 使用） - 4 個 endpoint 換掛 requireApiKey - 加 TRUST_PROXY env + Express trust proxy 設定（forensic source_ip） Phase B（/result endpoint）： - streaming NEF download with 5min timeout + concurrent cap 10 - Two-tier rate limit（burst 5/10s + sustained 20/min） - Bandwidth quota（1 GB/hr + 6 GB/24hr）by token_fingerprint - Range header silently ignored + Accept-Ranges: none - filename quote-escape + RFC 5987 fallback + sanitize - 8 個 /result audit events（forensic 完整）設計演進記錄：docs/TODO-visionA-integration-v2.md（5/2 OAuth → 5/16 API key → 5/16 download via converter；對應 visionA repo ADR-015/016） Tests: 597 → 666 (+69)、29 suites all pass Security: APPROVE WITH CONDITIONS（單 instance 部署、6 新 env、24hr 監控） npm audit: 3 vuln → 0（transitive AWS SDK xml chain） Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-17 22:47:28 +08:00
jim800121chen	cff9236699	docs: migrate Autoflow shared documents to docs/autoflow/ Move PRD, design specs, architecture docs, and TDD from .autoflow/ (personal/per-branch layer) to docs/autoflow/ (shared layer that goes into git) per the new Autoflow workspace layout. Files moved: - 02-prd/PRD.md - 03-design/design-review.md - 03-design/user-flow-cross-system.md - 04-architecture/TDD.md - 04-architecture/design-doc.md - 04-architecture/security.md The originals were never tracked, so git mv reduced to a filesystem rename with no history to preserve. .autoflow/ remains for personal notes (progress.md, review reports, testing logs). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-01 10:59:21 +08:00

Author

SHA1

Message

Date

jim800121chen

1c53253e6e

feat(worker): onnx 階段自動移除尾端 Softmax + pre-check regex 收窄

問題：同一顆含 Softmax 的 tflite，正式站能編出 KL520 真 .nef，
本專案 worker 在 nef 階段撞 UnimplementedFeature [Softmax] exit 6。
根因：runtime ktc 的 eliminate_tail 是 no-op（閹割版、只印警告），
尾端 Softmax 未被移除；正式站產物實測為 logits 輸出（Softmax 已砍）。

修法（staging 實測驗證、與正式站產物權重段逐 byte 相同）：
- onnx/core.py：新增 remove_tail_softmax()，onnx2onnx_flow 後對所有
  platform 移除 terminal Softmax（cut_nodes、不用 cut_types 避免誤砍
  中間層下游）、多 output rewire 逐項驗證 fail-loud、onnx.checker、
  removed_tail_softmax metadata
- precheck.py：R3 誤擋收窄——刪 hw_not_support_col 欄位名誤命中、
  op capture 改必須、抽不到具體 op 名改放行+warning（真 fail-open）、
  刪自由文字猜 op fallback、加噪音 token 過濾
- tests：+16（29 passed；terminal/no-op/多 output/fail-open 全覆蓋）
- docs：TDD §12、design-doc ADR-012、PRD 輸出語意變更（機率→logits）

行為變更：所有 platform NEF 輸出改 logits（與正式站一致）、
分類後處理需呼叫端自行補 softmax。

Review：兩輪（0C/3M→0C/0M）；W3 docker integration 6/6 PASS
（520+Softmax e2e 產真 .nef 799,844 bytes、720 回歸、precheck 放行）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-07-06 05:54:13 +08:00

jim800121chen

d8a9517c9d

feat(task-scheduler): Phase 0.8b — API key auth + /result endpoint

Auth pillar 從 OAuth 2.0 resource server 改成 pre-shared API key
（visionA ↔ converter 1:1 internal trust）。新增 GET /api/v1/jobs/:id/result
streaming endpoint 給 visionA backend 中轉 NEF 下載。

Phase A（auth 切換）：
- 新增 apiKeyMiddleware（constant-time compare、tokenFingerprint、4 audit events）
- 砍 OAuth middleware + JWKS（保留 oauthClient 供 promote → FAA 使用）
- 4 個 endpoint 換掛 requireApiKey
- 加 TRUST_PROXY env + Express trust proxy 設定（forensic source_ip）

Phase B（/result endpoint）：
- streaming NEF download with 5min timeout + concurrent cap 10
- Two-tier rate limit（burst 5/10s + sustained 20/min）
- Bandwidth quota（1 GB/hr + 6 GB/24hr）by token_fingerprint
- Range header silently ignored + Accept-Ranges: none
- filename quote-escape + RFC 5987 fallback + sanitize
- 8 個 /result audit events（forensic 完整）

設計演進記錄：docs/TODO-visionA-integration-v2.md（5/2 OAuth → 5/16 API key
→ 5/16 download via converter；對應 visionA repo ADR-015/016）

Tests: 597 → 666 (+69)、29 suites all pass
Security: APPROVE WITH CONDITIONS（單 instance 部署、6 新 env、24hr 監控）
npm audit: 3 vuln → 0（transitive AWS SDK xml chain）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-17 22:47:28 +08:00

jim800121chen

cff9236699

docs: migrate Autoflow shared documents to docs/autoflow/

Move PRD, design specs, architecture docs, and TDD from .autoflow/
(personal/per-branch layer) to docs/autoflow/ (shared layer that
goes into git) per the new Autoflow workspace layout.

Files moved:
- 02-prd/PRD.md
- 03-design/design-review.md
- 03-design/user-flow-cross-system.md
- 04-architecture/TDD.md
- 04-architecture/design-doc.md
- 04-architecture/security.md

The originals were never tracked, so git mv reduced to a filesystem
rename with no history to preserve. .autoflow/ remains for personal
notes (progress.md, review reports, testing logs).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-01 10:59:21 +08:00

3 Commits