6 minute read

이 글은 「생성형 AI로 시작하는 데이터 분석」 9회 연재 중 1회입니다. 전체 목차 보기

안녕하세요, 헬로데이터사이언스 나성호입니다.

오늘부터 제가 지난 6월에 S전자 재직자를 대상으로 진행했던 「생성형 AI를 활용한 Python 데이터 분석」 강의를 총 9회에 걸쳐 블로그로 풀어드리려고 합니다. Python 코드를 한 줄도 써본 경험이 없는 40대 이상 시니어분들도 끝까지 따라오실 수 있도록, 최대한 쉬운 말로 풀어보겠습니다.

1회차 글에서는 “오늘날 인공지능은 어떻게 여기까지 왔나”를 다뤄보려 합니다. 그런데 이 이야기, 사실 여러분 회사 생활과 크게 다르지 않습니다.

여러분, 처음 회사에 입사했을 때를 떠올려 보시겠어요? 선배가 시키는 일은 곧잘 하는데, 매뉴얼에 없는 상황이 닥치면 어쩔 줄 몰라 하던 그 신입 시절 말입니다. 인공지능도 똑같은 과정을 거쳐서 현재에 이르렀습니다. 선배가 시킨 것만 겨우 하던 ‘신입’에서, 지금은 시키지 않은 일까지 알아서 척척 해내는 ‘에이스’가 되기까지, 그 성장 과정을 함께 따라가 보겠습니다.

먼저 용어부터 정리하고 갈게요

본격적으로 들어가기 전에, 앞으로 계속 등장할 용어 다섯 가지를 표로 정리했습니다. 지금 다 외우실 필요는 없고, 읽다가 헷갈리면 다시 돌아와 확인하시면 됩니다.

줄임말
원래 이름
한 줄 설명
AI 인공지능
(Artificial Intelligence)
사람이 수행하던 판단·예측·생성 등의 지능적 작업을 기계가 수행하도록 만드는 기술 전체를 가리키는 말입니다.
ML 머신러닝
(Machine Learning)
사람이 모든 규칙과 예외 사항을 직접 작성하지 않고, 알고리즘이 데이터에 잠재된 패턴을 학습하여 분류 및 예측 기준을 만드는 방법입니다.
DL 딥러닝
(Deep Learning)
여러 층의 신경망으로 데이터의 복잡한 패턴을 학습하는 방법입니다. 특히 이미지·음성·텍스트와 같은 비정형 데이터 처리에 강점을 보입니다.
GenAI 생성형 AI
(Generative AI)
대규모 학습 데이터에서 나타나는 패턴·구조·관계를 학습하여 텍스트·이미지·코드·보고서 초안 등 새로운 결과물을 생성합니다.
LLM 대규모 언어 모델
(Large Language Model)
방대한 텍스트 데이터로부터 언어의 패턴·구조·관계를 학습하여 사람의 질문이나 요청에 맞는 답변을 생성합니다.

인공지능(AI)이 가장 큰 개념이고, 머신러닝과 딥러닝은 그 안에 속한 ‘방법’입니다. 그리고 생성형 AI와 LLM은 그 방법들이 최근에 도달한 ‘결과물’이라고 이해하시면 됩니다. 자, 이제 이 다섯 가지가 어떤 순서로 등장했는지, 신입사원이 에이스가 되는 이야기에 빗대어 하나씩 살펴보겠습니다.

1. 규칙 기반 AI 시절 — 매뉴얼 밖은 모르는 신입사원

인공지능은 어느 날 갑자기 튀어나온 신기술이 아닙니다. 오랜 기간 데이터 처리 기술과 알고리즘, 컴퓨팅 성능이 차곡차곡 쌓이면서 발전해 온 기술입니다. 그리고 그 첫 단계는 1950~1980년대의 ‘규칙 기반 AI’였습니다.

규칙 기반 AI는 사람이 알고 있는 판단 기준과 업무 규칙을 시스템에 입력하고, 기계는 그 규칙을 그대로 따르는 방식이었습니다. 방금 입사한 신입사원에게 “이 측정값이 기준치를 넘으면 불량으로 처리해”라고 매뉴얼을 쥐여준 것과 똑같습니다. 신입사원은 매뉴얼에 적힌 대로는 정확하게, 그리고 성실하게 반복합니다.

문제는 그다음부터입니다. 공정 조건, 설비 상태, 원자재 특성, 환경 요인까지 겹쳐서 복합적으로 작용하는 상황이 오면 어떻게 될까요? 매뉴얼에 없는 예외 상황이니, 신입사원은 손을 놓아버립니다. 이 예외를 처리하려고 조건을 하나둘 추가하다 보면, 규칙은 순식간에 미로처럼 복잡해집니다. “조건 1이 Yes면 조건 2를 보고, 조건 2가 No면 조건 4를 보고…” 이런 식으로 가지치기를 하다 보면, 정작 이 미로를 관리하는 사람조차 나중엔 헷갈리기 시작합니다.

결국 규칙 기반 AI의 본질적인 한계는 사람이 알고 있는 것만 자동화할 수 있다는 것입니다. 사람이 규칙을 정의하지 못할 정도로 패턴이 너무 복잡하면, 시스템의 성능도 딱 거기서 멈춥니다. 매뉴얼을 아무리 두껍게 만들어도, 매뉴얼에 없는 상황 앞에서 신입사원이 여전히 막막해하는 것처럼요.

2. 머신러닝의 등장 — 과거 사례에서 감을 잡는 경력사원

시간이 흐르면서 데이터가 쌓이고, 컴퓨터 성능이 좋아지면서 상황이 바뀝니다. 1990~2010년대에 걸쳐 자리 잡은 ‘머신러닝’은, 사람이 모든 규칙을 일일이 결정하지 않아도 되는 상황을 만듭니다. 대신 기계가 과거 데이터로부터 패턴을 학습해 스스로 판단 기준을 만듭니다.

이건 마치 몇 년 차 경력사원과 같은 모습입니다. 매뉴얼에 정확히 나와 있지 않은 상황이라도, “예전에 이런 조건일 때 대체로 이런 결과가 나오더라” 하는 감이 있습니다. 예를 들어 과거의 공정 조건, 검사 결과, 불량 여부 데이터를 모델에 던져주면, 모델은 특정 조건들이 결합된 조합에서 불량 가능성이 증가하는지를 스스로 찾아냅니다. 더 이상 사람이 규칙을 만들지 않아도 되며, 오히려 사람이 알지 못했던 패턴(데이터 안에 반복적으로 나타나는 관계)을 기계가 찾아내게 되었습니다.

그래서 머신러닝은 수율 예측, 이상 탐지, 불량 유형 분류, 설비 상태 예측처럼 결과값이 비교적 명확한 업무에 특히 잘 맞습니다. 오늘날에도 여전히 많은 분야에서 머신러닝이 예측 모델 학습에 사용됩니다.

다만 경력사원에게도 약점은 있습니다. 그 사람이 겪어본 사례가 편향되어 있거나 부족하면, 판단도 그만큼 부정확해지기 마련입니다. 머신러닝도 마찬가지입니다. 입력 데이터의 품질과 학습 데이터의 대표성에 크게 의존하기 때문에, 학습 데이터가 부족하거나 실제 데이터와 분포가 다르면 성능이 뚝 떨어질 수 있습니다. ‘Garbage in, garbage out’이 괜히 생긴 말이 아니거든요.

3. 딥러닝의 등장 — 스스로 노하우까지 체득한 베테랑

머신러닝 시절에는 여전히 사람의 손이 많이 필요했습니다. 어떤 요인(변수)을 중요하게 봐야 하는지, 그 특징을 사람이 직접 설계하고 뽑아내야 했거든요. 예를 들어 이미지를 분석하려면 “모양, 경계, 질감”처럼 무엇을 봐야 하는지를 사람이 미리 정의해줘야 했습니다. (이것을 특성공학이라고 합니다.) 아직은 경력사원에게 “이번엔 이 항목 위주로 봐줘”라고 코치가 필요했던 셈입니다.

2010~2020년대에 들어서면서 ‘딥러닝’이 이 부분을 바꿔놓습니다. 아마도 여러분이 가장 강렬하게 딥러닝의 능력을 경험한 것은 2016년 알파고부터일지도 모릅니다. 아직은 인간이 우수하다고 믿고 있었던 상황에서 알파고가 이세돌 9단을 4:1로 꺾었을 때, ‘아, 인공지능이 이 정도까지 왔구나’ 싶으셨을 겁니다. 알파고는 딥러닝과 강화학습을 결합한 모델입니다.

다시 딥러닝으로 돌아와서, 딥러닝은 여러 층의 신경망을 활용해 데이터의 복잡한 패턴을 학습하는 방식인데, 결정적인 차이는 데이터의 표현과 특징까지 스스로 학습한다는 점입니다. 이미지에서 결함 패턴을, 음성에서 발음의 특징을, 텍스트에서 문맥의 패턴을 스스로 학습할 수 있게 된 것입니다.

이것은 코치가 따로 필요 없는 베테랑의 모습과 같습니다. “이번엔 뭘 봐야 하나요?”라고 묻지 않고, 알아서 핵심을 짚어냅니다. 이런 변화 덕분에 딥러닝은 이미지 분류, 음성 인식, 자연어 처리, 번역, 추천 시스템처럼 복잡한 비정형 데이터를 다루는 영역에서 큰 성과를 낼 수 있었습니다.

4. 생성형 AI의 등장 — 시키지 않은 일까지 알아서 해내는 에이스

자, 여기까지 온 머신러닝과 딥러닝은 사실 한 가지 공통점이 있습니다. 둘 다 주로 ‘판별형 AI’로 활용되어 왔다는 점입니다. 판별형 AI는 입력 데이터를 보고 정답을 분류하거나, 값을 예측하는 데 강점을 보입니다. 다시 말해 “이거 불량이야, 아니야?”, “다음 달 수율은 몇 퍼센트일까?”와 같은 판정과 예측의 영역이었습니다. 아무리 베테랑이라도, 여전히 “판단”만 해주는 역할이었던 거죠.

그런데 2020년대 들어 등장한 ‘생성형 AI’는 여기서 한 걸음 더 나아갑니다. 생성형 AI는 대규모 데이터에서 학습한 패턴을 바탕으로, 사용자의 요청에 맞는 완전히 새로운 결과물을 만들어냅니다. 텍스트, 이미지, 코드, 표, 요약문, 보고서 초안까지 척척 만들어낼 수 있습니다.

이게 바로 ‘에이스’의 등장입니다. 판단만 해주는 게 아니라, “이 데이터 분석해서 보고서 초안까지 만들어줘”라고 하면 분석 코드를 짜고, 결과를 정리하고, 보고서 문장까지 뽑아줍니다. 신입사원 시절에는 시킨 일도 겨우 해냈는데, 이제는 시키지 않은 일까지 알아서 처리하는 직원이 된 셈입니다.

이 변화는 우리가 AI를 대하는 방식 자체를 바꿔놓고 있습니다. 예전에는 판별형 AI 모델 하나를 만들려 해도 데이터 과학자나 개발자의 역할이 꼭 필요했습니다. 하지만 생성형 AI는 업무 담당자가 자연어로 요청하고, 나온 결과를 검토하는 방식으로 쓰입니다. Python 코드를 몰라도, 에이스에게 일을 맡길 수 있게 된 것입니다.

5. 그런데 에이스도 결국, 사람이 검토해야 완성됩니다

여기서 한 가지 짚고 넘어갈 부분이 있습니다. 판별형 AI(경력사원~베테랑)와 생성형 AI(에이스)는 서로 경쟁하는 관계가 아니라, 함께 일하는 협업 관계라는 점입니다.

  • 판별형 AI 모델을 구현하기 위한 Python 코드를 생성형 AI가 대신 작성해줄 수 있습니다.
  • 생성형 AI가 작성한 코드를 사람이 실행하고, 결과의 타당성과 오류 여부를 확인합니다.
  • 판별형 AI가 내놓은 예측 결과를 생성형 AI가 보고서 초안으로 바꿔주고, 사람이 그 초안을 검토합니다.

눈치채셨나요? 아무리 에이스라도 검토 없이 그냥 믿고 쓰지는 않는다는 겁니다. 에이스가 써 온 보고서 초안이라도, 결재는 결국 사람이 하는 것과 같은 이치입니다. 왜 그럴까요? 다음 편에서 자세히 다루겠지만, 힌트를 드리자면 이 에이스, 가끔 그럴듯한 거짓말을 아주 자연스럽게 합니다.

오늘 이야기 정리

오늘 살펴본 흐름을 표로 한 번 정리해 보겠습니다.

시기
단계
직원으로 치면
특징
1950~1980s 규칙 기반 AI 매뉴얼만 아는 신입사원 정해진 규칙만 따름, 예외 상황에 취약
1990~2010s 머신러닝 감을 잡아가는 경력사원 과거 데이터에서 패턴을 스스로 학습
2010~2020s 딥러닝 코치가 필요 없는 베테랑 특징까지 스스로 찾아냄, 비정형 데이터에 강함
2020s~ 생성형 AI 알아서 척척 해내는 에이스 판단을 넘어 결과물 자체를 생성

독자 여러분께서도 한번 떠올려 보시죠. 지금 여러분 회사에서 반복하고 있는 업무 중에, “매뉴얼대로만” 하고 있는 일이 있으신가요? 아니면 이미 “알아서 해줬으면” 하고 바라는 일이 있으신가요? 그 답에 따라, 이 에이스를 어디에 먼저 투입할지가 달라질 겁니다.

다음 2회차에서는 이 에이스가 대체 어떤 원리로 답을 만들어내는지 — 그리고 왜 가끔 확신에 찬 얼굴로 틀린 말을 하는지를 살펴보겠습니다. 감사합니다.

Updated:

Comments