|
|
21f863ae1e
|
fix(worker): real image 加 tensorflow 支援 tflite 輸入格式
staging real worker 轉 tflite 失敗：tflite→onnx 需要 import tensorflow，但
Dockerfile.real 當初為省 image 大小沒裝 TF（只驗過 onnx/bie/nef 輸入）。
改 services/workers/Dockerfile.real：
- 加 tensorflow-cpu==2.13.1（Python 3.9 相容 + numpy<2 相容 + ktc TF compat
patch 預期範圍的交集；-cpu 省 ~1.5GB CUDA）
- 加 igraph==1.0.0（tree_structure.py 硬 import、pin 對齊本檔版本鎖哲學）
- 補 typing-extensions>=4.8.0（TF 會把它降版打爆 fastapi import）
- numpy<2 精確化為 numpy==1.23.5（落在原 <2 範圍 + TF 接受窗口、語意子集非破鎖）
本機驗證：image 4.36GB→5.71GB；tflite→onnx 通（產 188 節點合法 ONNX）；既有
BIE→NEF 回歸產出同一顆真 NEF（621,956 bytes）、prebuild ldd 全 resolved。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-07-02 15:31:59 +08:00 |
|
|
|
0cae1b1130
|
feat(worker): 啟用 staging 真實轉檔（取代 stub）+ 修 ref_images S3 path
staging worker 原本跑 WORKER_MODE=stub（假轉檔、產佔位 NEF），visionA 因此反映拿到的是 stub。本次讓真實轉檔上線並打通 onnx→bie→nef 完整鏈路。
新增：
- services/workers/Dockerfile.real：真實版 worker image，COPY repo 自帶 ktc/ + toolchain/prebuild（2GB），設 USE_PREBUILD/LD_LIBRARY_PATH/PYTHONPATH/KTC_DISABLE_MP/WORKER_MODE=real；排除 libs/dynasty+libs/compiler 省 3.2G
- .dockerignore：控制 build context（排除被 USE_PREBUILD 取代的舊系統 binaries）
- docker-compose.real.yml：override 三 worker 改用 registry image，保留 base stub build 供一鍵 rollback
修正（e2e 抓到的兩個問題）：
- jobService.js: ref_images S3 key 由 jobs/{id}/ref_images/ 改為 jobs/{id}/input/ref_images/，對齊系統主約定（local.js/legacy.js/bie worker consumer.py），修好 bie 量化抓不到 dataset 的 blocker。加 contract guard test 鎖死寫入 prefix == worker 讀取 prefix
- security.md: 同步 ref_images S3 key 路徑描述
驗證（staging e2e）：
- platform 530（與模型相符）下 onnx→bie→nef 全綠，產真 NEF 636KB（合法 FlatBuffer、非 STUB），/result 可拉、結果上 MinIO
- 已知約定：呼叫端 platform 必須與模型量化 platform 一致（配錯會在 bie 量化階段失敗）
scheduler 全套件 667 tests pass。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-22 12:43:24 +08:00 |
|
|
|
efa67d59a4
|
Add web frontend, MinIO storage, monitoring, and docker-compose deployment
- Frontend: rewrite Home.vue to match backend POST /jobs API (remove single-stage options)
- Frontend: add Monitor page (/monitor) for queue and job monitoring
- Frontend: add job history with localStorage tracking (per-browser)
- Frontend: fix Nginx proxy rewrite (/api -> /) and add 500MB upload limit
- Backend: add MinIO storage support (STORAGE_BACKEND=minio) alongside local mode
- Backend: add GET /queues/stats API for queue monitoring
- Backend: fix download handler for MinIO (buffer mode for Node 18 compat)
- Workers: add S3/MinIO download/upload in consumer.py with isolated temp dirs
- Workers: add s3_storage.py helper with lifecycle rule (7-day TTL)
- Docker: add docker-compose.yml with all services (web, scheduler, redis, workers)
- Docker: ports mapped to 9500 (web) and 9501 (scheduler)
- Config: add .env to .gitignore to protect secrets
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
|
2026-04-01 15:04:09 +08:00 |
|
warrenchen
|
fdebf4db5d
|
Refactor workers to use backend interfaces for quantization, compilation, and evaluation; add optional flags for simulation in request schemas and update documentation accordingly.
|
2026-02-06 08:24:08 +00:00 |
|
warrenchen
|
e93a1a5996
|
Complete tests for workers, with source file format onnx and tflite
|
2026-01-29 03:04:41 +00:00 |
|
warrenchen
|
31f61b5122
|
Initail project
|
2026-01-28 06:16:04 +00:00 |
|
