[TensorRT] YOLO 기반 비전 검사에서 TensorRT INT8 Calibration Dataset 준비 방법

1. 서론

YOLO와 같은 딥러닝 기반 객체 탐지 모델은 높은 정확도를 제공하지만, 산업
현장에서 실시간 처리 속도를 만족시키려면 최적화가 필수적입니다.
TensorRT의 INT8 정밀도 최적화는 속도와 효율성을 동시에 확보하는 핵심
기술입니다.
그러나 INT8 최적화의 성패는 Calibration Dataset(보정용 데이터셋)
준비에 크게 좌우됩니다.

본 글에서는 YOLO 기반 비전 검사 프로젝트를 예시로 들어, 효율적인
Calibration Dataset 준비 방법과 실무적인 가이드라인을 설명합니다.

---

2. Calibration Dataset의 역할

INT8 모드에서는 모든 연산이 8비트 정수로 수행됩니다.
이때 Floating Point → INT8로 양자화 과정에서 스케일링 값이 필요한데,
이를 계산하기 위해 Calibration Dataset을 사용합니다.

• Calibration Dataset은 모델 학습 데이터 전체가 아니라 분포를
  대표할 수 있는 소규모 데이터셋이어야 합니다.
• 일반적으로 원본 학습 데이터의 1% ~ 5% 수준(수천 장 단위)이
  적절합니다.

---

3. YOLO Calibration Dataset 준비 전략

(1) 다양한 샘플 포함

• 조명 변화: 밝은 환경, 어두운 환경, 그림자 포함
• 배경 다양성: 단색 배경, 복잡한 공정 배경
• 제품 상태: 정상, 불량, 경계 케이스

(2) 해상도와 전처리 일관성

• Calibration Dataset은 실제 추론 환경에서 사용되는 해상도와
  동일해야 함\
• YOLO 전처리 과정(Resize, Normalize, Letterbox)을 반드시 동일하게
  적용

(3) 샘플 수량 가이드

• TensorRT 공식 문서: 최소 500 ~ 1000장 권장
• 산업용 검사: 불량률이 낮다면 정상보다 불량 샘플 가중치↑

---

4. Dataset 구축 실무 팁

✅ 자동 샘플링 스크립트 작성

• 전체 학습 데이터에서 균등하게 샘플링
• Python으로 random.sample 활용
• 클래스별 데이터 불균형이 심할 경우, 불균형 해소하도록 비율 조정

✅ 온-디바이스 검증 - Calibration Dataset 적용 후, INT8 엔진으로
샘플 추론 검증 - FP32 결과와 비교해 mAP, Recall, Precision
차이가 ±1% 이내인지 확인

✅ 추가 보정 - 특정 클래스가 잘 검출되지 않으면 해당 클래스 샘플을
추가 보강

• Calibration Dataset을 점진적으로 업데이트 가능

---

5. 결론

YOLO 기반 비전 검사에서 TensorRT INT8 최적화를 성공적으로 적용하려면,
단순히 학습 데이터를 일부 잘라 쓰는 것이 아니라, 실제 추론 환경을
충분히 반영한 Calibration Dataset을 준비하는 것이 핵심입니다.

적절한 데이터 분포와 샘플링 전략을 통해, 정확도를 유지하면서도 추론
속도 2~4배 향상 효과를 얻을 수 있습니다.

---

SEO 키워드
TensorRT INT8, YOLO Calibration Dataset, TensorRT 최적화, 딥러닝 추론
가속, YOLO TensorRT, INT8 엔진 최적화, Calibration 데이터 준비 방법