<!-- main page 
1. -> example (python code) -> 讀 folder 檔案 -> 選
-> 抓 camera -> -i image -m model
2. run code -->


<!-- config for python script 需要有以下的資料:
1. function name to display
2. script name
3. device availibility (considering if the script name doesn't consist dongle type)
4. model's name
5. input information (frames, images, voice etc.)
6. input parameters
7. output parameters -->


# Innovedus AI Playground

這個應用程式是一個 AI Playground，用於通過相機鏡頭或使用者上傳圖片進行推論（例如火災檢測）。應用程式基於 Python、PyQt5、OpenCV 以及 Kneron SDK（kp）開發，支援 Video 模式與 Image 模式。

---

## 目錄
- [安裝設定](#安裝設定)
- [專案架構](#專案架構)
- [功能概述](#功能概述)


## 安裝設定
- Install python 3.12 and kneron plus
``` shell
# This shell script only install Kneron plus
cd ./external/kneron_plus_{version}/package/{platform}/
pip install KneronPLUS-{version}-py3-none-any.whl

# if the above command doesn't work
pip install --force-reinstall KneronPLUS-{version}-py3-none-any.whl
```

- PyQT5 and other packages
``` shell
pip install PyQt5 opencv-python pyinstaller pyarmor
```
- test APP in local
``` shell
python main.py
```

## 專案架構
```
project/
|- main.py
|- src/
   |- config.py
   |- controllers/
      |- device_controllers.py
      |- model_controllers.py
   |- views/
      |- mainwindow.py  # 主視窗邏輯
   |- utils/
      |- file_utils.py  # 文件工具
      |- image_utils.py # 圖像工具
   |- services/
      |- device_service.py # 設備服務
      |- model_service.py  # 模型服務
|- models/
|- uxui/
|- tests/
   |- unit/
   |- integration/
```
```
upload/
    └── photos, videos, or mp3 files
utils/
    └── plugins/
        ├── mode1/
        │   ├── model1/
        │   │   ├── script.py
        │   │   ├── model_file(s)
        │   │   └── config.json
        │   └── model2/
        │       ├── script.py
        │       ├── model_file(s)
        │       └── config.json
        └── mode2/
            ├── model1/
            │   ├── script.py
            │   ├── model_file(s)
            │   └── config.json
            └── model2/
                ├── script.py
                ├── model_file(s)
                └── config.json
    └──firmware\
         ├── KLXXX/
         │   ├── fw_scpu.bin
         │   ├── fw_ncpu.bin
         │   ├── VERSION
         │   └── other files
         ├── KLXXX/
             ├── fw_scpu.bin
             ├── fw_ncpu.bin
             ├── VERSION
             └── other files
    └──config.json
    └──REAMDE.md
```
## 功能概述

- **Video 模式**：啟動相機持續捕捉影像，並將每一幀以 NumPy 陣列格式傳入推論模組進行即時推論。
- **Image 模式**：使用者上傳圖片後，讀取圖片並將其以 NumPy 陣列格式放入推論佇列，僅進行一次推論。

---

## 輸入資料格式

### 相機影像

- **捕捉方式**：使用 OpenCV 從相機捕捉影像。
- **轉換流程**：
  1. 影像先以 QImage 格式傳回。
  2. 透過 `qimage_to_numpy(qimage)` 函式轉換為 NumPy 陣列。
- **格式**：NumPy 陣列，形狀為 `(height, width, 3)`，通道順序為 RGB888。

### 上傳圖片

- **讀取方式**：使用 OpenCV 的 `cv2.imread()` 讀取上傳的圖片。
- **格式**：產生的圖片也是一個 NumPy 陣列（通常是 BGR 格式），後續推論模組可進一步進行預處理轉換。

---

## 參數傳遞與設定

### input_params 的組成

主應用程式會組合一個 `input_params` 字典，並將該字典傳遞給推論模組。此字典中可能包含以下鍵值：

- `usb_port_id`：選取的 dongle 的 USB port ID。
- `fw_folder`：全域 Firmware 資料夾路徑（FW_DIR）。
- `scpu_path` 與 `ncpu_path`：根據選取的 dongle 型號，組合出的 firmware 檔案路徑。
- `file_path`：上傳圖片的完整路徑（image/voice 模式下使用）。
- `model`：從工具配置中讀取的模型檔案名稱，經由路徑組合後形成完整的模型路徑。

**範例**：

```python
{
    "usb_port_id": 32,
    "scpu_path": "C:\\...\\firmware\\KL520\\fw_scpu.bin",
    "ncpu_path": "C:\\...\\firmware\\KL520\\fw_ncpu.bin",
    "fw_folder": "C:\\...\\firmware",
    "file_path": "C:\\...\\uploads\\fire5.jpeg",
    "model": "src\\utils\\models\\fire_detection_520.nef"
}
```
## APP 打包
目前是使用 Pyinstaller 來進行打包的動作 可以根據以下的指令進行打包
#### 下方的add-data需要根據你要包入的資料設定，最後一個則是需要把 kp 包進 exe 檔中，需要去 conda 的 env 資料夾中找對應的 kp\lib 資料夾
```shell
pyinstaller --onefile --windowed main.py --additional-hooks-dir=hooks --add-data "uxui;uxui" --add-data "src;src" --add-data "C:\Users\mason\miniconda3\envs\resnet\Lib\site-packages\kp\lib;kp\lib"
```

## APP資料加密
目前預計使用 [pyarmor](https://github.com/dashingsoft/pyarmor) 進行加密