AI 영역에서 사용하는 7가지 주요 정밀도 형식

정밀도(Precision)는 AI에서 아주 중요한 요소죠. 모델의 정확도와 효율성을 결정하니까요. 정밀도가 바로 숫자를 얼마나 세밀하게 표현할지를 조절하고, 실제의 값을 근사(Approximation)하기 위해서 고정소수점(Fixed-Point)이나 부동소수점(Floating-Point) 형식을 사용하게 됩니다. 최근에는 BF16 → FP16으로 전환하는 연구가 진행되면서, 정밀도가 성능에 미치는 영향이 다시 주목받고 있습니다.

오늘은 아래 7가지의, AI에서 사용되는 중요한 ‘정밀도’ 형식인데, 훈련에는 고정밀도, 추론에는 저정밀도가 주로 사용된다고 생각하면 될 것 같네요:

1. FP32 (Float32)

   표준적인 풀 프리시전(Full Precision) 부동소수점 형식입니다.

   • 비트 구성: 부호 1비트, 지수 8비트, 가수(소수부) 23비트

   • 대부분의 모델 훈련에서 기본값으로 사용되는데, 수치적 안정성이 높고 기존 코드와의 호환성이 좋습니다.
     

2. FP16 (Float16)
   하프 프리시전(Half Precision) 부동소수점 형식으로, 정확도와 효율성의 균형을 잘 맞추는 형식입니다.

   • 비트 구성: 부호 1비트, 지수 5비트, 가수 10비트

   • NVIDIA Tensor Core에서 널리 사용되고, 혼합 정밀도 학습(Mixed Precision) 환경에서도 자주 쓰입니다.

   • 최근에는 강화학습(Reinforcement Learning) 영역에서도 다시금 주목받고 있는 형식입니다.

3. BF16 (BFloat16)
   FP32와 같은 지수 범위를 가지지만, 가수 비트가 더 적은 형식입니다.

   • 비트 구성: 부호 1비트, 지수 8비트(FP32와 동일), 가수 7비트

   • Google Brain이 AI/ML 인프라 연구의 일환으로 개발한 것으로, TPU 및 최신 GPU에서 선호하는 형식입니다.
     

4. FP8 (E4M3 / E5M2) →
   NVIDIA Hopper(H100)과 Blackwell(B200) Tensor Core, AMD MI300 등에서 차세대 표준으로 부상 중인 초저정밀 형식입니다.

   • E4M3: 지수 4비트, 가수 3비트

   • E5M2: 지수 5비트, 가수 2비트

   • NVIDIA의 Transformer Engine에서도 지원되고, 훈련과 추론 모두에 사용됩니다.

5. FP4(4-bit Transformer); QLoRA
   초소형 추론용으로 연구 중인 실험적인 포맷입니다.

   • 4비트 부동소수점으로 양자화된 트랜스포머(4-bit FP Transformer)나
     QLoRA에서 사용하는 4-bit NormalFloat(NF4) 같은 형식이 이에 속합니다.

   • 저자원 환경에서의 모델 추론에 적합합니다.

6. INT8/INT4
   정수 기반의 저정밀 형식으로, 주로 추론 단계에서 사용됩니다.

   • 모델의 가중치와 활성값(Activation)을 정수로 변환해서, 정수 연산에 최적화된 하드웨어에서 아주 빠르게 처리할 수 있습니다.

7. 2-bit (ternary or binary quantization)
   가장 극단적인 초저정밀 형식입니다.

   • 예: {-1, 0, 1} 값만 사용

   • 곱셈 연산을 덧셈이나 뺄셈으로 대체할 수 있어서, 연산 비용이 매우 낮습니다.

   • 초저전력 AI 가속기나 경량화 연구에서 실험적으로 활용됩니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요