Worker 套件依賴關係圖
最後更新：2026-04-02
轉換流程總覽（含外部 Binary 標註）
上傳模型 (.onnx / .tflite)
│
▼
┌──────────────────────────────────────────────────────────────────┐
│ Stage 1: ONNX 優化 (onnx-worker) │
│ │
│ 輸入: .onnx 或 .tflite │
│ 輸出: out.onnx │
│ │
│ ┌─ Python 套件 ───────────────────────────────────────────────┐ │
│ │ onnx — 模型載入/儲存 │ │
│ │ tensorflow — TFLite 解析（僅 .tflite 輸入時） │ │
│ │ tf2onnx — TFLite→ONNX 轉換（僅 .tflite 輸入時） │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ┌─ [BINARY] 系統庫 ──────────────────────────────────────────┐ │
│ │ kneronnxopt — ONNX 圖形最佳化引擎 │ │
│ │ 位置: /workspace/libs/kneronnxopt/ │ │
│ │ 呼叫: ktc.onnx_optimizer → Python import │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ┌─ [BINARY] 可選：IP 評估 ───────────────────────────────────┐ │
│ │ (使用 ktc.ModelConfig.evaluate()， │ │
│ │ 底層透過 sys_flow 呼叫量化分析庫) │ │
│ └─────────────────────────────────────────────────────────────┘ │
└──────────┬───────────────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────────────┐
│ Stage 2: BIE 量化 (bie-worker) │
│ │
│ 輸入: out.onnx + 參考圖片 │
│ 輸出: out.bie │
│ │
│ ┌─ Python 套件 ───────────────────────────────────────────────┐ │
│ │ onnx — 載入 ONNX、讀取 input shape │ │
│ │ Pillow — 參考圖片讀取 │ │
│ │ numpy — 圖片數值運算 │ │
│ │ opencv-python — 圖片預處理（resize 等） │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ┌─ [BINARY] 系統庫 ──────────────────────────────────────────┐ │
│ │ kneronnxopt — ONNX 再次最佳化 │ │
│ │ 位置: /workspace/libs/kneronnxopt/ │ │
│ │ 呼叫: ktc.onnx_optimizer → Python import │ │
│ │ │ │
│ │ sys_flow — 量化流程 V1（平台 520/720/530/630） │ │
│ │ 位置: /workspace/ (Python path) │ │
│ │ 呼叫: ktc/toolchain.py → gen_fx_model_v1()│ │
│ │ │ │
│ │ sys_flow_v2 — 量化流程 V2（平台 730） │ │
│ │ 位置: /workspace/ (Python path) │ │
│ │ 呼叫: ktc/toolchain.py → gen_fx_model_v2()│ │
│ │ + gen_opt_model_v2() │ │
│ └─────────────────────────────────────────────────────────────┘ │
└──────────┬───────────────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────────────┐
│ Stage 3: NEF 編譯 (nef-worker) │
│ │
│ 輸入: out.bie │
│ 輸出: out.nef │
│ │
│ ┌─ [BINARY] ELF 執行檔（subprocess.run 呼叫）────────────────┐ │
│ │ │ │
│ │ gen_config.py — 產生編譯設定檔 │ │
│ │ 位置: libs/compiler/gen_config.py │ │
│ │ libs_V2/compiler/gen_config.py (730) │ │
│ │ 呼叫: subprocess.run(["python", gen_config.py, ...]) │ │
│ │ 時機: 編譯前的設定準備 │ │
│ │ │ │
│ │ batch_compile — 模型批次編譯器（主編譯器） │ │
│ │ 位置: libs/compiler/batch_compile │ │
│ │ libs_V2/compiler/batch_compile (730) │ │
│ │ 呼叫: subprocess.run([batch_compile, ...]) │ │
│ │ 時機: BIE → 中間編譯產物 │ │
│ │ 連結: libpiano.so, libmozart.so, libschubert.so, │ │
│ │ libbeethoven.so, libbach.so, libwagner.so │ │
│ │ │ │
│ │ kneron_nef_utils — NEF 封裝工具 │ │
│ │ 位置: libs/compiler/kneron_nef_utils │ │
│ │ libs_V2/compiler/kneron_nef_utils (730) │ │
│ │ 呼叫: subprocess.run([kneron_nef_utils, ...]) │ │
│ │ 時機: 中間產物 → 最終 NEF 封裝 │ │
│ │ 連結: libencoder.so, libkne.so │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
│ Binary 路徑選擇邏輯： │
│ if USE_PREBUILD 環境變數存在 → 使用預構建路徑 │
│ elif platform == "730" → libs_V2/compiler/ │
│ else → libs/compiler/ │
└──────────────────────────────────────────────────────────────────┘
┌──────────────────────────────────────────────────────────────────┐
│ (未完成) E2E 模擬 │
│ │
│ ┌─ [BINARY] 動態庫（ctypes.CDLL 載入）────────────────────────┐ │
│ │ │ │
│ │ libdynasty.so — Dynasty 推理引擎 │ │
│ │ 位置: libs/dynasty/E2ESimulator/libdynasty.so │ │
│ │ 呼叫: ctypes.CDLL() → 浮點/定點推理 │ │
│ │ │ │
│ │ libload*.so — 各平台預處理庫 │ │
│ │ 位置: E2E_Simulator/c_interface/libs/ │ │
│ │ 呼叫: ctypes.CDLL() │ │
│ │ │ │
│ │ libprocessing*.so — 各平台後處理庫 │ │
│ │ 位置: E2E_Simulator/c_interface/libs/ │ │
│ │ 呼叫: ctypes.CDLL() │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ┌─ [BINARY] CSIM 仿真器（subprocess.run 呼叫）───────────────┐ │
│ │ │ │
│ │ npu_csim_520 — KDP520 硬體仿真 │ │
│ │ npu_csim_730 — KDP730 硬體仿真 │ │
│ │ 位置: E2E_Simulator/bin/current/ │ │
│ │ 呼叫: subprocess.run([npu_csim_*, ...]) │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────────┘
依賴分層架構
┌─────────────────────────────────────────────────────────────────────┐
│ Worker 入口層 │
│ services/workers/{onnx,bie,nef}/worker.py │
│ 用途：啟動 consumer、選擇 stub/real 模式 │
│ 依賴：consumer.py, stubs.py 或 core.py │
├─────────────────────────────────────────────────────────────────────┤
│ Worker 消費者層 │
│ services/workers/consumer.py │
│ 用途：Redis Stream 佇列消費、檔案上下載、流程控制 │
│ 依賴：redis, boto3 (MinIO), 標準庫 │
├─────────────────────────────────────────────────────────────────────┤
│ Worker 核心處理層 │
│ services/workers/{onnx,bie,nef}/core.py │
│ 用途：呼叫 Backend Interface 執行模型轉換 │
│ 依賴：onnx, ktc, backends │
├─────────────────────────────────────────────────────────────────────┤
│ Backend 介面層 (Protocol) │
│ services/backends/{compiler,quantization,evaluator,simulator}.py │
│ 用途：定義抽象介面，封裝 KTC 呼叫 │
│ 依賴：ktc (lazy import) │
├─────────────────────────────────────────────────────────────────────┤
│ KTC 封裝層 │
│ ktc/toolchain.py, ktc/onnx_optimizer.py, ktc/inferencer.py │
│ 用途：封裝 Kneron Toolchain 的 Python API 和 binary 呼叫 │
│ 依賴：onnx, numpy, kneronnxopt, sys_flow, subprocess (binary) │
├─────────────────────────────────────────────────────────────────────┤
│ 外部 Binary / 系統庫層 │
│ libs/, libs_V2/, E2E_Simulator/ │
│ 用途：Kneron 編譯器、模擬器、最佳化器的實際二進制執行檔 │
│ 呼叫方式：subprocess.run(), ctypes.CDLL() │
└─────────────────────────────────────────────────────────────────────┘
各 Stage 套件依賴明細
Stage 1: ONNX 優化（onnx-worker）
| 套件 |
類型 |
用途 |
呼叫位置 |
redis |
第三方 (pip) |
Redis Stream 佇列消費、訊息 ACK |
consumer.py |
boto3 |
第三方 (pip) |
MinIO 檔案上傳/下載 |
consumer.py → s3_storage.py |
onnx |
第三方 (pip) |
載入/儲存 ONNX 模型 |
onnx/core.py — onnx.load(), onnx.save() |
ktc.onnx_optimizer |
本地模組 |
TFLite→ONNX 轉換、ONNX 模型最佳化 |
onnx/core.py — tflite2onnx_flow(), onnx2onnx_flow() |
kneronnxopt |
系統庫 |
ONNX 圖形最佳化（被 ktc.onnx_optimizer 呼叫） |
ktc/onnx_optimizer_1_13.py |
ktc.ModelConfig |
本地模組 |
IP 評估（可選） |
backends/evaluator.py → km.evaluate() |
ONNX 版本分歧：
ktc/onnx_optimizer.py
├─ onnx 1.7.0 → onnx_optimizer_1_7.py (舊版相容)
└─ onnx 1.13+ → onnx_optimizer_1_13.py (目前使用)
└─ import kneronnxopt
Stage 2: BIE 量化（bie-worker）
| 套件 |
類型 |
用途 |
呼叫位置 |
redis |
第三方 (pip) |
Redis Stream 佇列消費 |
consumer.py |
boto3 |
第三方 (pip) |
MinIO 檔案上傳/下載 |
consumer.py → s3_storage.py |
onnx |
第三方 (pip) |
載入 ONNX 模型、讀取輸入節點資訊 |
bie/core.py — onnx.load(), 讀取 graph input shape |
ktc.onnx_optimizer |
本地模組 |
ONNX 模型再次最佳化 |
bie/core.py — onnx2onnx_flow() |
kneron_preprocess |
本地模組 |
參考圖片預處理（resize, normalize） |
bie/core.py — preprocess_func() |
Pillow |
第三方 (pip) |
圖片讀取（被 kneron_preprocess 呼叫） |
kneron_preprocess.py |
numpy |
第三方 (pip) |
圖片數值運算 |
kneron_preprocess.py |
ktc.ModelConfig |
本地模組 |
建立模型設定 |
backends/quantization.py |
km.analysis() |
本地模組 |
執行量化分析，產出 BIE |
backends/quantization.py |
sys_flow |
系統庫 |
量化流程 V1（平台 520/720/530/630） |
ktc/toolchain.py — gen_fx_model_v1() |
sys_flow_v2 |
系統庫 |
量化流程 V2（平台 730） |
ktc/toolchain.py — gen_fx_model_v2(), gen_opt_model_v2() |
Stage 3: NEF 編譯（nef-worker）
| 套件 |
類型 |
用途 |
呼叫位置 |
redis |
第三方 (pip) |
Redis Stream 佇列消費 |
consumer.py |
boto3 |
第三方 (pip) |
MinIO 檔案上傳/下載 |
consumer.py → s3_storage.py |
ktc.ModelConfig |
本地模組 |
建立模型設定 |
backends/compiler.py |
ktc.compile() |
本地模組 |
執行 NEF 編譯 |
backends/compiler.py |
batch_compile |
外部 Binary |
模型批次編譯（ELF 執行檔） |
ktc/toolchain.py → subprocess.run() |
kneron_nef_utils |
外部 Binary |
NEF 封裝工具（ELF 執行檔） |
ktc/toolchain.py → subprocess.run() |
gen_config.py |
外部 Script |
編譯設定檔產生器 |
ktc/toolchain.py → subprocess.run(["python", ...]) |
Binary 路徑解析：
_resolve_compiler_paths(platform)
├─ 若 USE_PREBUILD 環境變數存在 → 使用預構建路徑
├─ 平台 730 → libs_V2/compiler/
└─ 其他平台 → libs/compiler/
E2E 模擬（未完成，旗標已定義）
| 套件 |
類型 |
用途 |
呼叫位置 |
ktc.kneron_inference |
本地模組 |
E2E 推理入口 |
backends/simulator.py |
kneron_inference (E2E_Simulator) |
系統庫 |
推理執行 |
ktc/inferencer.py — 硬編碼 /workspace/E2E_Simulator/python_flow |
numpy |
第三方 (pip) |
radix 計算 |
ktc/inferencer.py |
libdynasty.so |
外部 Binary |
Dynasty 推理引擎 |
E2E_Simulator → ctypes.CDLL() |
npu_csim_* |
外部 Binary |
各平台 CSIM 仿真器 |
E2E_Simulator → subprocess.run() |
完整套件依賴總表
第三方套件（pip install）
| 套件 |
版本 |
使用階段 |
用途 |
redis |
>=5.0 |
全部 |
Redis Stream 佇列通訊 |
boto3 |
>=1.28 |
全部 |
MinIO 物件儲存（S3 相容 API） |
onnx |
1.14.1 |
ONNX + BIE |
模型載入/儲存/圖形解析 |
numpy |
- |
BIE + E2E |
數值運算、圖片處理 |
Pillow |
- |
BIE |
參考圖片讀取 |
onnxruntime |
- |
ONNX (間接) |
ONNX 推理（被 kneronnxopt 使用） |
tensorflow |
2.16.2 |
ONNX (間接) |
TFLite 轉換 |
tf2onnx |
- |
ONNX (間接) |
TFLite→ONNX 轉換 |
opencv-python |
- |
BIE (間接) |
圖片預處理 |
scipy |
- |
BIE (間接) |
量化分析數學運算 |
系統庫（需部署在 /workspace）
| 模組 |
位置 |
使用階段 |
用途 |
kneronnxopt |
/workspace/libs/kneronnxopt/ |
ONNX |
ONNX 圖形最佳化引擎 |
sys_flow |
/workspace/ (Python path) |
BIE |
量化流程 V1（520/720/530/630） |
sys_flow_v2 |
/workspace/ (Python path) |
BIE |
量化流程 V2（730） |
extract_bie_info |
/workspace/ (Python path) |
BIE (間接) |
BIE 檔案 I/O 資訊提取 |
kneron_inference |
/workspace/E2E_Simulator/python_flow/ |
E2E 模擬 |
推理模擬入口 |
外部 Binary（ELF 執行檔 / .so 動態庫）
| Binary |
位置 |
使用階段 |
呼叫方式 |
batch_compile |
libs/compiler/ 或 libs_V2/compiler/ |
NEF |
subprocess.run() |
kneron_nef_utils |
libs/compiler/ 或 libs_V2/compiler/ |
NEF |
subprocess.run() |
gen_config.py |
libs/compiler/ 或 libs_V2/compiler/ |
NEF |
subprocess.run(["python", ...]) |
libdynasty.so |
libs/dynasty/E2ESimulator/ |
E2E 模擬 |
ctypes.CDLL() |
npu_csim_520 |
E2E_Simulator/bin/current/ |
E2E 模擬 |
subprocess.run() |
npu_csim_730 |
E2E_Simulator/bin/current/ |
E2E 模擬 |
subprocess.run() |
libload*.so |
E2E_Simulator/c_interface/libs/ |
E2E 模擬 |
ctypes.CDLL() |
libprocessing*.so |
E2E_Simulator/c_interface/libs/ |
E2E 模擬 |
ctypes.CDLL() |
libpiano.so |
libs/compiler/lib/ |
NEF (間接) |
batch_compile 動態連結 |
libmozart.so |
libs/compiler/lib/ |
NEF (間接) |
batch_compile 動態連結 |
libencoder.so |
libs/compiler/lib/ |
NEF (間接) |
kneron_nef_utils 動態連結 |
libkne.so |
libs/compiler/lib/ |
NEF (間接) |
kneron_nef_utils 動態連結 |
依賴關係圖（按呼叫鏈）
onnx-worker
└─ consumer.py ─────────── redis, boto3
└─ onnx/core.py
├─ onnx ─────────────── onnx.load(), onnx.save()
├─ ktc.onnx_optimizer
│ ├─ onnx
│ ├─ kneronnxopt ──── [系統庫] ONNX 圖形最佳化
│ └─ (tflite 時) tf2onnx, tensorflow
└─ (可選) backends/evaluator.py
└─ ktc.ModelConfig → km.evaluate()
bie-worker
└─ consumer.py ─────────── redis, boto3
└─ bie/core.py
├─ onnx ─────────────── onnx.load(), 讀取 input shape
├─ ktc.onnx_optimizer ── (同上)
├─ kneron_preprocess ─── Pillow, numpy, opencv-python
└─ backends/quantization.py
└─ ktc.ModelConfig → km.analysis()
├─ sys_flow ──── [系統庫] 量化 V1
└─ sys_flow_v2 ── [系統庫] 量化 V2
nef-worker
└─ consumer.py ─────────── redis, boto3
└─ nef/core.py
└─ backends/compiler.py
└─ ktc.compile()
├─ gen_config.py ──── [subprocess] 產生編譯設定
├─ batch_compile ──── [subprocess] 執行編譯
│ └─ libpiano.so, libmozart.so... [動態連結]
└─ kneron_nef_utils ── [subprocess] 封裝 NEF
└─ libencoder.so, libkne.so [動態連結]
(未完成) e2e-simulation
└─ backends/simulator.py
└─ ktc.kneron_inference
└─ E2E_Simulator/kneron_inference
├─ libdynasty.so ──── [ctypes] Dynasty 推理
├─ npu_csim_* ─────── [subprocess] CSIM 仿真
└─ libload*.so ─────── [ctypes] 預/後處理
環境變數一覽
| 變數 |
預設值 |
用途 |
影響範圍 |
REDIS_URL |
redis://localhost:6379 |
Redis 連線 |
consumer.py |
WORKER_MODE |
real |
stub = 開發模式, real = 真實處理 |
worker.py |
STORAGE_BACKEND |
local |
local = 共享卷, minio = MinIO |
consumer.py |
MINIO_ENDPOINT_URL |
http://192.168.0.130:9000 |
MinIO 端點 |
s3_storage.py |
MINIO_BUCKET |
convertet-working-space |
MinIO Bucket |
s3_storage.py |
MINIO_ACCESS_KEY |
convuser |
MinIO 帳號 |
s3_storage.py |
MINIO_SECRET_KEY |
- |
MinIO 密碼 |
s3_storage.py |
MINIO_LIFECYCLE_DAYS |
7 |
檔案自動清理天數 |
s3_storage.py |
JOB_DATA_DIR |
/data/jobs |
本地工作目錄 |
consumer.py |
KTC_OUTPUT_DIR |
/data1/kneron_flow |
KTC 輸出目錄 |
core.py → ktc |
KTC_WORKDIR |
/workspace/.tmp |
KTC 暫存目錄 |
core.py → ktc |
KTC_SCRIPT_RES |
- |
KTC 資源目錄 |
core.py → ktc |
USE_PREBUILD |
- |
預構建 binary 路徑（優先於 libs/） |
ktc/toolchain.py |
