생성형 AI의 말을 그대로 믿다간 큰일날 수 있습니다

이 글은 「생성형 AI로 시작하는 데이터 분석」 9회 연재 중 3회입니다. 전체 목차 보기

안녕하세요, 헬로데이터사이언스 나성호입니다.

지난 2회차에서는 생성형 AI가 프롬프트로부터 다음에 올 확률이 높은 토큰을 계속 이어붙이는 방식으로 답변을 작성한다는 기본 원리를 살펴봤습니다. 그런데 여기에서 이런 질문이 생길 수 있습니다. “확률이 높은 토큰을 이어붙인다고 해서 과연 그 답변이 항상 맞는 말일까?” 물론 전혀 그렇지 않습니다. 오늘 이야기의 출발점은 여기에서 시작합니다.

생성형 AI의 거짓말 — 환각이라는 현상

생성형 AI가 실제 사실과 다른 내용을 마치 사실인 것처럼 그럴듯하게 만들어내는 현상을 환각(Hallucination)이라고 부릅니다. 환각이 발생하는 이유는 크게 세 가지를 들 수 있습니다. ① 확률적으로 다음 토큰을 예측하는 방식, ② 학습 데이터의 한계, ③ 문맥을 잘못 해석하는 경우 등입니다. 환각은 LLM이 태생적으로 가지고 있는 구조적인 오류인 셈입니다.

데이터 분석 과정에서 실제로 나타나는 환각 사례를 몇 가지 보여드리면 다음과 같습니다.

• 실제로 존재하지 않는 논문을 그럴듯하게 인용하는 경우
• 데이터를 직접 계산하지 않고, 학습한 패턴에서 “이 정도겠지”라고 추론한 값을 제시하는 경우
• 문법 오류가 있거나, 존재하지 않는 라이브러리와 함수를 사용하여 코드를 작성하는 경우

우리 회사에 유능하고 자신만만한 에이스 직원이 있다고 상상해 보세요. 그가 회의 석상에서 “그거 제가 확인했습니다”라고 당당하게 말했는데, 나중에 알고 보니 제대로 확인하지도 않았을 뿐더러 대충 감으로 말한 거였다면 어떤 상황이 이어질까요? 이런 상황이 생성형 AI가 작성한 답변에서 그대로 벌어질 수 있다는 것이죠.

왜 사람이 검토해야 할까요?

생성형 AI는 이미 정해진 정답을 조회하는 게 아니라, 주어진 문맥을 기준으로 다음에 올 확률이 높은 토큰을 생성하는 시스템이라고 설명한 바 있습니다. 따라서 생성형 AI로부터 자연스러운 문장을 얻었다고 해서 그 내용이 사실이거나, 계산이 맞거나, 코드 문법이 정확하다는 뜻은 절대로 아닙니다.

실제로 데이터 분석 과정에서 생성형 AI가 작성한 코드를 사람이 실행했을 때 다양한 에러가 발생할 수 있습니다. 여러 가지 이유가 있겠지만 흔하게 발생하는 문제로는 데이터에 존재하지 않는 컬럼명을 사용한다거나, 부정확한 계산 로직으로 코드를 작성했다거나, 세상에 없는 라이브러리와 함수를 사용하는 등이 있습니다. 아울러 데이터 분석 결과에 대해 생성형 AI가 근거 없는 과도한 해석을 내놓을 수도 있구요. 그러므로 생성형 AI가 작성한 코드는 반드시 사람이 실행해서, 업무 기준과 데이터 맥락에 맞는 결과가 나오는지 확인해야 합니다. (물론 AI 에이전트가 사용자의 프롬프트를 해석하여 코드를 작성하고 직접 실행하고 오류가 발생했을 때 스스로 고치는 세상이 된 것은 맞습니다. 그러나 명백하게 발생하는 에러와 다르게 실패하지 않지만 명백하게 잘못된 오류 - 이것을 버그라고 하는데요 - 등이 포함될 가능성을 아예 배제할 수는 없습니다.)

제가 작성한 강의 자료에는 ChatGPT나 Gemini와 나눈 대화 사례가 실려 있는데요. 흥미로운 공통점이 있었습니다. 제가 답변에 포함된 잘못을 지적하면 챗봇들은 자기가 틀린 정보를 제공했다는 걸 바로 인정하면서 “제가 좀 더 신중했어야 했는데 죄송합니다.”와 같이 바로 사과하는 모습을 보인다는 것입니다. (그런데 Claude는 반은 인정하고, 반은 반박하는 중2병과 같은 모습을 보이곤 합니다. 그래서 제가 더 격렬하게 혼내곤 합니다.) 아무튼 환각이라는 증상은 매우 흔하게 벌어지는 일입니다. 그래서 ChatGPT, Gemini, Claude, Perplexity 같은 서비스들은 하나같이 입력창 아래에 “생성형 AI는 실수를 할 수 있습니다. 중요한 정보는 재차 확인하세요”와 같은 문구를 달아두고 있는 거죠.

그럼 어떻게 검토하고 보완할 수 있을까요?

다행한 것은 우리가 환각에 대처할 수 있는 몇 가지 실전적인 방법이 있다는 것입니다.

방법	내용
근거 자료 직접 제공	분석할 데이터와 문서를 첨부하고, 첨부 파일에 들어 있는 내용만을 근거로 답하도록 지시합니다.
검색·출처 기반 모드 활용	웹 검색이 연동된 모드는 출처를 함께 제시하므로 쉽게 검증할 수 있습니다. 단, 사람이 직접 확인해야 합니다.
불확실성 배제 지시	“확실하지 않으면 추측하지 말고 모른다고 답하라”는 지침을 명시합니다.
작업을 쪼개고 교차 검증	한 번에 긴 답을 요구하지 말고, 단계별로 나눠 중간 결과를 확인합니다. 분석 결과는 직접 계산하여 비교합니다.

우리가 생성형 AI에게 기대할 수 있는 것은 한 문장으로 정리하면 이렇습니다. 생성형 AI가 초안을 빠르게 만들고, 사람이 초안을 검토하고 다듬어서 완성도를 높인다.

사실 더 무서운 건 따로 있습니다 — 인지부채

여기서 이야기를 하나 더 얹어보겠습니다. 환각보다 어쩌면 더 무서운 게 하나 더 있는데요. 바로 인지부채(Cognitive Debt)에 관한 이야기입니다. 기본적으로 부채란 미래의 소득을 현재로 앞당겨 사용한다는 개념이잖아요? 인지부채도 구조가 같습니다. 지금 당장 생각하는 수고를 생성형 AI에게 넘겨 시간을 벌지만, 그 대가로 스스로 이해하고 기억하고 따져보는 능력이 나중에 깎여 있는 현상을 가리킵니다.

MIT 미디어 랩 연구진이 2025년 6월에 발표한 논문¹이 있습니다. 18~39세 참여자 54명을 세 그룹(ChatGPT 사용, 검색엔진 사용, 도구 없이 직접 작성)으로 나누고, 각각 SAT식 에세이를 20분간 쓰게 했습니다. 그리고 참여자와의 인터뷰를 통해 방금 자신이 쓴 문장을 다시 떠올릴 수 있는지를 확인했습니다.

구분	ChatGPT 그룹	검색엔진 그룹	도구 없음 그룹
자신이 쓴 문장을 재현할 수 있었는가?	16.7%	88.9%	88.9%
정확하게 재현했는가?	0%	83.3%	88.9%

숫자만 봐도 확연한 차이를 느낄 수 있죠? ChatGPT를 사용한 그룹은 방금 자기가 쓴 글을 거의 기억하지 못했습니다. 뇌파(EEG) 분석에서도 도구를 전혀 쓰지 않은 그룹이 가장 강한 뇌 연결성을 보였구요. 그래서 연구진은 외부 도구 의존도가 커질수록 인지 활동이 낮아지는 패턴이라고 해석했습니다.

그렇다면 AI를 안 쓰는 게 답일까요?

MIT 미디어 랩 연구진은 앞선 세 세션에 참여했던 사람들 중 일부를 다시 불러 4번째 세션을 진행하면서, 이번엔 그룹을 서로 맞바꿔봤습니다.

• ChatGPT 사용 → 도구 없음으로 바꾼 그룹: 뇌 연결성이 약했고, 인지적 관여도 또한 여전히 낮았습니다.
• 도구 없음 → ChatGPT 사용으로 바꾼 그룹: 오히려 기억 회상이 더 높았고, 뇌의 관련 영역이 다시 활성화됐습니다.

이 결과가 말해주는 건 명확합니다. 먼저 스스로 생각해본 경험이 있는 사람이, AI를 훨씬 더 능동적으로 활용한다는 겁니다. AI를 처음부터 대체 도구로 쓰기보다, 먼저 생각하고 나서 보조 도구로 쓰는 방식이 바람직하다는 뜻이죠. 다만 이 4번째 세션은 앞선 세션들보다 참여 인원이 크게 줄어든 상태에서 얻은 결과라는 점은 감안하고 보시는 게 좋겠습니다.

그래서 저는 AI를 보조 도구로 잘 활용하는 사람의 특징을 이렇게 정리합니다.

• 자기 분야의 전문성과 문제 맥락을 가진 사람 → 목표, 데이터, 제약조건을 구체화할 수 있음
• 생성형 AI의 답변을 평가할 기준이 있는 사람 → 오류, 누락, 과장, 왜곡을 검토할 수 있음
• 자신이 아는 것과 모르는 것을 구분하는 사람 → AI에게 맡길 부분을 구분할 수 있음
• 문제, 조건, 출력 형식을 구조화할 수 있는 사람 → 프롬프트를 명확하게 설계할 수 있음
• 생성형 AI의 가능성과 한계를 이해하는 사람 → 의존하지 않고 보조 도구로 활용

AI 코딩의 역설 — 빨라졌다는 착각

마지막으로 흥미로운 사례를 하나 더 소개하겠습니다. 2025년 AI 안전성 평가 기관인 METR에서 무작위 대조시험을 진행했습니다². 오픈소스 프로젝트에 평균 5년 이상 기여해온 숙련된 개발자 16명을 대상으로 246개의 실제 작업을 수행하도록 했습니다. 매 작업마다 AI 도구(Cursor, Claude)를 사용할 수 있는지 여부를 무작위로 배정했습니다.

우리는 코딩 초보도 아니고 같은 프로젝트에 5년 이상 기여해온 숙련된 개발자들이라면 생성형 AI의 도움을 받았을 때 생산성이 크게 향상될 것이라고 기대할 수 있잖아요. 하지만 결과는 우리의 예상과 조금 달랐습니다.

• 작업 전 예측: 개발자들은 생성형 AI를 쓰면 완료 시간이 24% 더 빨라질 거라 기대했습니다.
• 실제 측정 결과: 생성형 AI를 사용했을 때 완료 시간이 오히려 19% 더 느려졌습니다.
• 작업 후 인식: 그럼에도 불구하고 개발자들은 “20% 더 빨라졌다”고 믿었습니다.

이 결과를 어떻게 해석할 수 있을까요? 생성형 AI가 작성한 코드를 사람이 검토하고 수정하는 데 드는 비용이 발생하였고, 실제로 생산성을 저하시켰다는 것이겠죠. 그런데 개발자 본인들은 그 사실조차 체감하지 못했고요.

오늘 이야기 정리

이쯤에서 오늘의 이야기를 정리해보겠습니다.

• 생성형 AI는 확률상 그럴듯한 답을 자신 있게 내놓지만 그게 사실이라는 보장은 없습니다. [환각]
• 생성형 AI에게 생각하는 과정을 통째로 맡겨버리면, 정작 사용자의 머리는 점점 게을러지게 됩니다. [인지부채]
• “AI 덕분에 빨라졌다”는 우리의 체감조차 틀릴 수 있습니다. [AI 코딩의 역설]

물론 그렇다고 해서 우리가 생성형 AI를 사용하지 않을 이유는 없습니다.

결국 우리가 똑똑하게 생성형 AI를 사용하려면 사람이 먼저 스스로 생각하고, 그 위에 AI를 보조 도구로 얹으라는 이야기로 마무리할 수 있을 것 같습니다. 다음 4회차에서는 생성형 AI를 실제로 어떻게 활용하면 좋을지 — 대화형 AI, 코파일럿, 에이전트라는 세 가지 방식과, SK하이닉스·삼성전자 같은 실제 기업들이 반도체 현장에서 어떻게 쓰고 있는지를 살펴보겠습니다. 감사합니다.

1. Kosmyna, N. et al. (2025). Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task. MIT Media Lab. arXiv:2506.08872 ↩

2. METR (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. arXiv:2507.09089 · METR 블로그 요약 ↩