AI 추론 vs 학습 연산 차이, 어디서 갈릴까?
- 학습은 오차를 계산해 모델 파라미터를 업데이트합니다.
- 추론은 학습된 파라미터로 새 입력의 결과를 계산합니다.
- 생성형 AI 추론은 입력 처리와 토큰 생성 단계로 나뉩니다.
AI 학습은 데이터와 정답 또는 보상 신호를 이용해 모델의 파라미터(학습으로 조정되는 숫자)를 바꾸는 과정이고, AI 추론은 그렇게 만들어진 파라미터를 사용해 새 입력에 대한 결과를 계산하는 과정입니다. 핵심 연산 차이는 학습에는 순전파와 역전파가 모두 필요하지만, 일반적인 추론에는 결과를 계산하는 순전파만 필요하다는 점입니다. 다만 생성형 AI 추론은 답변 토큰을 차례로 만들어 여러 계산을 반복합니다.
학습과 추론은 무엇을 계산할까?
학습: 예측하고 오차를 줄이도록 조정
학습에서도 모델은 입력을 받아 예측값을 만듭니다. 이 계산을 순전파라고 합니다. 지도 학습에서는 예측값과 정답의 차이를 손실(loss, 예측 오차를 수치화한 값)로 계산합니다. 이어 역전파로 손실이 각 파라미터에 얼마나 영향을 받는지 기울기(gradient)를 구하고, 최적화 알고리즘이 기울기를 바탕으로 파라미터를 조금씩 업데이트합니다. 이 과정을 데이터 묶음마다 반복하며 모델의 예측을 개선합니다.
추론: 학습된 파라미터로 결과 계산
추론에서는 보통 파라미터를 고정한 채 입력을 순전파해 분류, 점수, 문장 같은 출력을 만듭니다. 새 입력에 답한다는 의미에서 학습 데이터에 없는 사례도 처리할 수 있지만, 입력이 낯설거나 학습 데이터의 범위를 벗어나면 결과가 부정확할 수 있습니다. 추론 결과가 자동으로 모델의 지식을 바꾸는 것은 아닙니다. 별도의 온라인 학습이나 추가 학습 절차를 연결하지 않았다면, 요청마다 나온 답변은 파라미터 업데이트로 이어지지 않습니다.
기억할 기준: 학습은 손실과 기울기를 계산해 파라미터를 업데이트하고, 추론은 대체로 파라미터를 고정한 채 출력을 계산합니다.
연산량과 메모리 사용은 왜 달라질까?
역전파와 중간값 저장이 학습 부담을 키웁니다
학습은 순전파 뒤에 역전파를 수행하므로 같은 모델의 추론보다 연산이 더 필요합니다. 역전파에 쓸 일부 중간 결과도 보관해야 하며, 파라미터뿐 아니라 기울기와 옵티마이저 상태(업데이트 방향·크기 등을 추적하는 값)까지 메모리를 차지할 수 있습니다. 실제 메모리 사용량은 모델 구조, 배치 크기, 정밀도, 메모리 절약 기법에 따라 달라지므로 모든 모델에 적용되는 고정 배수로 단정하기는 어렵습니다.
추론은 지연 시간과 요청 처리량을 함께 봅니다
추론은 역전파가 없어 메모리와 연산 부담을 줄일 여지가 있습니다. 그러나 모델 파라미터를 가속기 메모리에 올리는 비용은 여전히 중요하고, 이용자가 많으면 동시에 처리할 요청도 고려해야 합니다. 한 요청의 첫 응답을 빠르게 보여주는 지연 시간과 일정 시간 동안 처리하는 요청 수인 처리량은 서로 다른 운영 지표입니다. 작은 배치로 즉시 응답하면 지연 시간이 줄 수 있지만, 여러 요청을 묶어 처리하면 장치 활용률과 처리량에 유리할 수 있습니다.
- 학습에서 중요한 것: 역전파, 파라미터 업데이트, 학습 데이터 공급, 중간값과 옵티마이저 상태를 담을 메모리
- 추론에서 중요한 것: 모델을 담을 메모리, 입력·출력 길이, 응답 지연 시간, 동시 요청과 처리량
- 공통으로 필요한 것: 모델의 행렬 연산을 처리할 연산 장치와 데이터를 주고받는 메모리 대역폭
생성형 AI의 추론은 토큰을 반복해서 만듭니다
입력 처리와 답변 생성은 성격이 다릅니다
대규모 언어 모델(LLM)은 문장을 토큰(모델이 처리하는 텍스트 조각) 단위로 다룹니다. 먼저 프롬프트 전체를 읽어 문맥을 계산하는 프리필(prefill)을 거친 뒤, 다음 토큰을 하나씩 예측하는 디코드(decode)를 반복합니다. 입력이 길면 프리필 계산이 커질 수 있고, 답변이 길면 토큰 생성 단계를 더 오래 반복합니다. 그래서 같은 모델도 짧은 질문에 한 문장으로 답할 때와 긴 문서를 읽고 긴 답변을 생성할 때 추론 비용과 시간이 달라집니다.
KV 캐시는 반복 계산을 덜어주는 대신 메모리를 씁니다
대화형 언어 모델은 앞서 처리한 토큰의 어텐션 관련 값을 KV 캐시(이전 문맥 계산 결과를 보관하는 메모리)에 저장해 다음 토큰 생성 때 재사용할 수 있습니다. 매번 앞부분을 처음부터 다시 계산하는 일을 줄이는 데 도움이 되지만, 문맥이 길거나 동시 대화가 많으면 캐시 메모리도 커집니다. 따라서 생성형 AI 서버는 연산 성능만으로 판단할 수 없고, 메모리 용량과 대역폭, 한 번에 처리할 요청 수를 함께 살펴야 합니다.
어떤 장치가 학습과 추론에 더 적합할까?
GPU는 대규모 병렬 행렬 연산을 지원해 학습과 추론 모두에 널리 쓰입니다. 추론에는 GPU 외에도 NPU(신경망 연산에 맞춘 가속기)나 CPU가 사용될 수 있습니다. 어떤 장치가 적합한지는 모델 크기와 연산 정밀도, 응답 시간 목표, 전력·비용, 배포 환경에 달려 있습니다. 추론은 늘 가볍고 학습은 언제나 특정 종류의 GPU만 가능하다는 식으로 나누면 실제 선택을 놓칠 수 있습니다.
| 비교 항목 | 학습 | 추론 |
|---|---|---|
| 목표 | 오차를 줄여 파라미터 조정 | 입력에 대한 결과 계산 |
| 주요 흐름 | 순전파·손실·역전파·업데이트 | 순전파, 생성형 모델은 토큰 반복 생성 |
| 주요 부담 | 연산량과 중간값·기울기 메모리 | 모델·캐시 메모리와 응답 시간 |
| 성능 판단 | 학습 시간, 안정성, 메모리 여유 | 지연 시간, 처리량, 요청당 비용 |
실무에서 혼동하기 쉬운 세 가지
- 평가 모드와 추론은 같은 말이 아닙니다. PyTorch의
model.eval()은 드롭아웃이나 배치 정규화처럼 학습·평가 동작이 다른 층의 동작을 바꾸는 설정입니다. 그래디언트 계산을 끄는torch.no_grad()또는torch.inference_mode()와는 별개입니다. 평가 코드에서는 모델 동작 설정과 그래디언트 추적 설정을 각각 확인해야 합니다. - 추론만 한다고 메모리가 항상 적게 드는 것은 아닙니다. 큰 모델을 올리거나 긴 문맥을 처리하고 많은 요청을 동시에 받으면 파라미터와 KV 캐시가 큰 메모리를 차지할 수 있습니다.
- 정밀도를 낮추면 결과가 자동으로 같지는 않습니다. 양자화(가중치·연산 수 표현을 더 적은 비트로 바꾸는 기법)는 메모리와 계산량을 줄일 수 있지만, 모델과 작업에 따라 품질을 검증해야 합니다. 정확도, 응답 속도, 비용을 실제 입력으로 비교한 뒤 적용하는 편이 안전합니다.
PyTorch 공식 문서는 역전파 그래프 기록과 평가 모드, 그래디언트 비활성화가 서로 다른 기능임을 설명합니다. 구현에서 이 차이를 확인하려면 PyTorch autograd 공식 문서를 참고할 수 있습니다. 생성형 모델을 운영한다면 프롬프트 길이와 답변 길이, 동시 요청을 바꿔 측정해야 병목이 연산인지 메모리인지 파악하기 쉽습니다.
운영 점검: LLM 추론은 입력 길이와 생성 토큰 수, 동시 요청 수에 따라 성능이 달라집니다. 모델 이름만 비교하지 말고 실제 서비스 조건으로 측정하세요.
자주 묻는 질문
Q. 추론할 때 모델은 전혀 학습하지 않나요?
일반적인 추론은 파라미터를 고정하고 출력을 계산합니다. 다만 서비스가 별도 온라인 학습이나 피드백 반영 과정을 운영한다면, 그 과정에서 나중에 모델이 업데이트될 수 있습니다.
Q. 학습에 정답 데이터가 꼭 필요한가요?
항상 필요한 것은 아닙니다. 지도 학습은 정답 레이블을 사용하지만, 자기지도 학습은 데이터 자체에서 학습 신호를 만들 수 있고 강화 학습은 보상 신호를 활용할 수 있습니다. 학습 방식에 따라 손실이나 업데이트 절차가 달라집니다.
Q. 추론은 학습보다 항상 빠르고 저렴한가요?
역전파와 업데이트가 없어 일반적으로 부담이 줄지만, 모델 크기와 입력·출력 길이, 동시 사용자 수에 따라 달라집니다. 특히 큰 언어 모델의 긴 답변 생성은 상당한 연산과 메모리를 사용할 수 있습니다.
Q. GPU는 학습용이고 NPU는 추론용인가요?
그렇게 고정해 나눌 수는 없습니다. GPU는 학습과 추론 모두에 쓰이며, NPU는 특정 추론 작업에서 전력 효율을 높이도록 설계되는 경우가 많습니다. 실제 적합성은 모델 지원 여부와 성능·메모리·전력 조건을 확인해 판단해야 합니다.
