onnx모델 변환가이드 추가
This commit is contained in:
98
MODEL_CONVERSION_GUIDE.md
Normal file
98
MODEL_CONVERSION_GUIDE.md
Normal file
@@ -0,0 +1,98 @@
|
||||
# RTMDet Pytorch(.pth) -> Qualcomm NPU(.dlc) 변환 가이드
|
||||
|
||||
본 문서는 `RTMDet-Tiny`, `Small`, `Medium` 등 다양한 크기의 RTMDet 모델을 퀄컴 NPU(DSP/HTP) 가속용 모델로 변환하고 안드로이드 앱에 적용하는 과정을 설명합니다.
|
||||
|
||||
---
|
||||
|
||||
## 1. 사전 준비 (Environment)
|
||||
변환을 위해서는 아래 환경이 구축된 Conda 환경이 필요합니다.
|
||||
- **Python**: 3.10~3.11 권장
|
||||
- **Libraries**: `torch`, `mmdet`, `mmengine`, `onnx`, `onnxsim`
|
||||
- **SDK**: Qualcomm AI Stack (QAIRT) SDK 2.x 버전
|
||||
|
||||
---
|
||||
|
||||
## 2. 1단계: PyTorch -> ONNX 익스포트
|
||||
RTMDet의 복잡한 출력 구조를 NPU에서 문제없이 읽기 위해, **점수(Scores)**와 **거리값(Raw Distances)**을 하나로 묶은 단일 텐서 모델로 변환해야 합니다.
|
||||
|
||||
### `export_raw.py` 스크립트 작성
|
||||
아래 스크립트의 `config_path`와 `checkpoint_path`만 변경하여 실행하세요.
|
||||
|
||||
```python
|
||||
import torch
|
||||
import torch.nn as nn
|
||||
from mmdet.registry import MODELS
|
||||
from mmengine.config import Config
|
||||
from mmengine.runner import load_checkpoint
|
||||
import onnx
|
||||
from onnxsim import simplify
|
||||
|
||||
class RTMDetRawWrapper(nn.Module):
|
||||
def __init__(self, model):
|
||||
super().__init__()
|
||||
self.model = model
|
||||
self.num_classes = 24 # 사용자의 클래스 수에 맞게 수정
|
||||
|
||||
def forward(self, img):
|
||||
x = self.model.backbone(img)
|
||||
x = self.model.neck(x)
|
||||
cls_scores, bbox_preds = self.model.bbox_head(x)
|
||||
|
||||
all_cls = []
|
||||
all_reg = []
|
||||
for c, r in zip(cls_scores, bbox_preds):
|
||||
all_cls.append(c.sigmoid().permute(0, 2, 3, 1).reshape(1, -1, self.num_classes))
|
||||
all_reg.append(r.permute(0, 2, 3, 1).reshape(1, -1, 4))
|
||||
|
||||
# [1, 8400, 24] + [1, 8400, 4] = [1, 8400, 28] 텐서 생성
|
||||
return torch.cat([torch.cat(all_cls, dim=1), torch.cat(all_reg, dim=1)], dim=-1)
|
||||
|
||||
# 실행: python export_raw.py
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 3. 2단계: ONNX -> DLC 변환
|
||||
퀄컴 SNPE 컨버터를 사용하여 NPU 전용 모델인 DLC 파일을 생성합니다.
|
||||
|
||||
### 변환 명령어 (PowerShell/Bash)
|
||||
```bash
|
||||
# 환경변수 설정 (QAIRT SDK 경로)
|
||||
$env:SDK_ROOT="C:\path\to\qairt\sdk"
|
||||
$env:PYTHONPATH="$env:SDK_ROOT\lib\python"
|
||||
$env:PATH="$env:SDK_ROOT\bin\x86_64-windows-msvc;$env:PATH"
|
||||
|
||||
# ONNX -> DLC 변환
|
||||
# --input_dim: [Batch, Height, Width, Channel] (NHWC 레이아웃)
|
||||
python "$env:SDK_ROOT\bin\x86_64-windows-msvc\snpe-onnx-to-dlc" \
|
||||
--input_network rtmdet_model.onnx \
|
||||
--output_path rtmdet_model.dlc \
|
||||
--input_dim input 1,640,640,3
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. 3단계: 안드로이드 앱 적용
|
||||
생성된 `rtmdet_model.dlc`를 앱에 적용합니다.
|
||||
|
||||
### 파일 복사
|
||||
- 위치: `app/src/main/assets/` 폴더 내에 저장.
|
||||
|
||||
### 코드 수정 (`Config.kt`)
|
||||
새 모델 파일명을 등록합니다.
|
||||
```kotlin
|
||||
val FILENAME_OD_MODEL = "rtmdet_model.dlc" // 새로 만든 파일명
|
||||
```
|
||||
|
||||
### 주의사항 (Tiny 외 모델 사용 시)
|
||||
`Small`, `Medium` 모델은 `Tiny`와 **그리드(Grid) 개수**가 다를 수 있습니다.
|
||||
- **Tiny**: 8400개 (80x80 + 40x40 + 20x20)
|
||||
- **Small/Medium**: 만약 스트라이드나 해상도가 다르면 `SnpeManager.kt`의 `8400` 숫자를 모델 출력 결과(Shape)에 맞춰 수정해야 합니다.
|
||||
- *팁: 앱 실행 시 로그에 `Tensor Name: output, Shape: [1, N, 28]`이 찍히면, 그 `N` 값이 바로 그리드 개수입니다.*
|
||||
|
||||
---
|
||||
|
||||
## 5. 핵심 튜닝 포인트
|
||||
1. **색상 순서**: 반드시 **BGR** 순서로 전처리를 수행해야 합니다. (이미 적용됨)
|
||||
2. **NMS**: 모델 크기가 커질수록 정확도가 높아지므로 `SnpeManager.kt`의 `confThreshold`를 낮춰도 깨끗한 결과가 나옵니다.
|
||||
3. **Runtime**: `DSP` 런타임이 가장 빠르며, 지원하지 않는 기기에서는 자동으로 `GPU` 또는 `CPU`로 전환됩니다.
|
||||
Reference in New Issue
Block a user