어제 저장해 둔 답변과 오늘 다시 받은 답변을 나란히 놓아보면 좀 허탈하다. "비슷하게 물었는데 왜 이번엔 말이 다르지?" 같은 생각이 바로 든다.
그렇다고 챗GPT가 그때그때 아무 말이나 하는 건 아니다. 질문이 살짝만 달라도, 앞 대화가 한 줄만 달라도 읽는 방식이 달라진다. 그래서 답도 흔들린다.
챗GPT는 왜 매번 다른 답변을 내는가
챗GPT는 확률적으로 텍스트를 생성한다. 다음에 올 단어를 100% 고정해서 선택하는 게 아니라, 여러 후보 중에서 확률에 따라 고른다. 이 때문에 같은 질문에도 매번 조금씩 다른 답변이 나온다.
이 특성을 Temperature(온도)라고 부른다. Temperature가 높을수록 다양하고 창의적인 답변이 나오고, 낮을수록 일관되고 예측 가능한 답변이 나온다.
답변이 달라지는 3가지 주요 원인
1. 질문 방식의 미묘한 차이
사람 눈에는 똑같아 보이는 질문도 AI에게는 다르게 읽힌다.
"챗GPT 믿을 수 있나요?"
"챗GPT 답변은 신뢰할 수 있나요?"
"챗GPT 정보 정확한가요?"
사람 눈에는 거의 같은 말인데, AI는 강조점이 다르다고 받아들인다. 그러니 답도 조금씩 갈라진다.
2. 앞선 대화 맥락
챗GPT는 대화 기록을 바탕으로 답변을 생성한다. 이전에 어떤 주제를 다뤘는지, 어떤 톤으로 대화했는지가 다음 답변에 영향을 준다. 새 대화를 시작하면 이전 맥락이 사라지기 때문에 같은 질문도 다르게 해석될 수 있다.
3. 질문의 모호성
질문이 여러 가지로 해석될 수 있을수록 답변도 다양해진다.
❌ 모호한 질문 (답변이 매번 다름)
"AI 좋은가요?"
⭕ 구체적인 질문 (답변이 일관됨)
"업무 자동화 목적으로 AI를 도입할 때 고려해야 할 요소는 무엇인가요?"
💬 같은 질문인데 답이 달라진 실제 사례
질문: "비타민C 하루 1000mg 먹어도 괜찮아?"
어떤 날의 AI 답변: "비타민C는 수용성이라 과다 복용해도 소변으로 배출됩니다. 1000mg은 일반적으로 안전한 범위입니다."
다른 날의 AI 답변: "비타민C 과다 복용은 소화장애나 신장 결석 위험이 있으므로 하루 2000mg 이하를 권장하지만 주의가 필요합니다."
어떻게 해석해야 할까:
- 두 답 모두 어느 정도 사실이다 — 어떤 맥락을 강조하느냐의 차이다
- 답이 다를 때는 두 관점을 모두 참고 자료로 쓰는 게 낫다
- 복용량 관련 의학 기준은 공식 출처에서 최종 확인해야 한다
일관된 답변을 얻는 방법
일관성을 조금이라도 높이고 싶다면 질문 쪽을 먼저 손봐야 한다.
- 질문을 구체적으로 작성한다 — 목적, 조건, 원하는 형식을 명시한다
- 맥락을 직접 제공한다 — 배경 설명을 질문 앞에 추가한다
- 범위를 한정한다 — "한국 기준으로", "2025년 현재", "초보자 기준으로"
- 형식을 지정한다 — "리스트로 정리해줘", "장단점으로 나눠줘"
답변이 다를 때 활용하는 법
흥미로운 건, 이 차이가 꼭 나쁜 것만은 아니라는 점이다. 잘 쓰면 오히려 비교 자료가 된다.
- 같은 주제를 여러 각도에서 물어보면 다양한 관점을 얻을 수 있다
- 답변들의 공통점을 찾으면 그게 가장 신뢰할 수 있는 정보다
- 서로 다른 답변을 비교하면 어떤 부분이 불확실한지 알 수 있다
관련 가이드
정리: 다양성은 특성이다, 결점이 아니다
챗GPT 답변이 매번 다른 건 버그가 아니라 확률적 생성 구조의 특성이다. 이를 이해하고 활용하면 오히려 더 풍부한 정보를 얻을 수 있다. 일관된 답변이 필요하다면 질문을 더 구체적으로 작성하면 된다.