챗GPT 역사, 1943년에 시작돼 80년이 걸렸습니다

80년을 한 장에 담아 보겠습니다

먼저 전체를 훑고 시작하겠습니다. 있었던 일을 다 넣지 않고, 문이 하나씩 열린 주요한 사건들만 골랐습니다.

읽는 법은 세 가지입니다. 첫째, 빗금 친 구간은 기대가 식어 투자가 끊겼던 시기입니다. AI 겨울이라고 부릅니다. 둘째, 겨울 칸에는 몇 년을 멈춰 있었는지 적어 두었습니다. 셋째, 판이 바뀐 사건은 셋뿐이고, 나머지는 그 셋으로 가는 과정입니다.

방법은 생각보다 훨씬 일찍 나왔습니다

1943년에 두 연구자가 뇌세포가 하는 일을 수식으로 적었습니다. 생각을 계산으로 옮길 수 있다는 발상이 이때 처음 나왔습니다.

1950년에 튜링은 「기계는 생각할 수 있는가」라는 질문을 따져 보겠다는 문장으로 논문을 시작했습니다1. 1955년에 나온 한 제안서에는 이듬해 여름 두 달 동안 「인공지능」을 연구해 보자고 적혀 있었습니다2. 인공지능이라는 이름이 붙었습니다.

1958년에는 만드는 방식이 한 번 뒤집힙니다. 그전까지는 사람이 규칙을 하나하나 적어 넣었습니다. 그런데 퍼셉트론이라는 것이 나왔습니다. 이건 예시를 보면서 자기 안의 숫자를 스스로 고쳤습니다. 지금 우리가 학습이라고 부르는 개념입니다.

1966년에는 일라이자라는 프로그램이 나왔습니다. 규칙 몇 줄로 상담사 흉내를 냈을 뿐인데 사람들이 마음을 털어놨습니다. 사람이 상대가 내 말을 알아들었다고 얼마나 쉽게 믿어 버리는지가 이때 처음 드러났습니다.

그리고 1986년에 역전파가 알려집니다. 답이 틀렸을 때 그 책임을 뒤에서부터 나눠 주는 계산법입니다. 지금도 AI를 학습시킬 때 쓰는 기본 절차가 이때 만들어졌습니다. 방법이 없어서 못 한 게 아니었다는 뜻입니다.

없던 것은 기계와 자료였습니다

그렇게 방법이 하나씩 나오는 동안 겨울이 두 번 왔습니다. 첫 번째는 1974년부터 7년, 두 번째는 1987년부터 또 7년입니다. 두 구간을 더하면 80년 가운데 14년이 멈춰 있었습니다.

첫 번째 겨울의 계기가 된 보고서는 이렇게 적었습니다. 이 분야의 어느 부분에서도, 지금까지 나온 발견이 그때 약속된 만큼 큰 영향을 낸 적은 없다고요3.

왜 안 됐을까요. 계산하는 기계가 느렸고, 배울 수 있는 자료가 없었습니다.

기계가 빨라지고 자료가 쌓이는 데 다시 20년이 걸립니다. 2009년에 이미지넷이 사진마다 「이게 무엇이다」 하고 이름표를 붙여서, 누구나 쓸 수 있게 공개했습니다. 배울 자료들이 생긴 것입니다. 2012년에는 알렉스넷이 사진 속 사물을 알아맞히는 성적을 크게 끌어올렸습니다. 그때 쓴 장비가 슈퍼컴퓨터도 아니고 게이밍 그래픽카드(GPU) 두 장이었습니다4. 여기서 그래픽카드의 시대가 열립니다.

시간을 조금 되돌리겠습니다. 기계와 자료를 기다리는 동안에도, 사람과 기계가 정면으로 맞붙은 장면이 두 번 있었습니다. 1997년에 딥블루가 체스 세계 챔피언 카스파로프와 여섯 판을 두어 3.5 대 2.5로 이겼고5, 2016년에는 서울에서 알파고가 이세돌 9단을 4 대 1로 이겼습니다6. 다만 둘 다 한 가지 일만 할 줄 알았습니다. 무엇이든 물어볼 수 있는 지금과는 달랐습니다.

마지막 조각이 맞춰졌습니다

2017년에 결정적인 것이 하나 나옵니다. 트랜스포머입니다7. 들어온 문장을 앞에서부터 한 낱말씩 따라가지 않고, 전체를 한꺼번에 놓고 봅니다. 어느 낱말이 어느 낱말과 이어져 있는지를 한 번에 보는 것입니다. 다만 답을 낼 때는 여전히 한 조각씩입니다. 글을 다루는 AI는 대부분 이 뼈대 위에 있습니다. GPT의 'T'가 이것입니다.

그다음 3년은 「크게 만들수록 잘한다」를 확인하는 시간이었습니다. 2020년에 나온 GPT-3는 그렇게 학습으로 정해지는 숫자가 1,750억 개였습니다8. 퍼셉트론이 예시를 보며 고치던 바로 그 숫자입니다.

하지만 모델의 크기만 키운다고 사람과 말이 통하는 것은 아니었습니다. 2022년 초, 여기에 사람의 의도를 따르도록 가르치는 과정이 더해집니다. 먼저 사람이 작성한 모범 답안으로 모델을 학습시킵니다. 이어 모델이 만든 여러 답변을 사람이 비교해 더 나은 답변을 고릅니다. 모델은 이렇게 모은 사람의 선호를 기준으로 다시 조정됩니다. 많이 아는 모델을, 사람의 요청에 맞게 답하는 모델로 바꾼 단계였습니다.

그리고 드디어 2022년 11월 30일, 그 결과가 대화창 하나로 나왔습니다. 그날 발명된 것은 없었습니다. 80년 치가 대화창 하나에 얹혔을 뿐입니다.

전환점은 완전히 새로운 무언가가 하루아침에 발명된 순간이 아니라, 오랫동안 축적된 여러 조건이 하나의 체계로 맞물린 순간이었습니다. 그렇다고 새로운 방법이 없었던 것은 아닙니다. 앞서 본 트랜스포머는 새로운 구조였고, 모델이 사람의 지시와 선호를 따르도록 조정하는 방법도 꾸준히 발전했습니다. 다만 방법만으로는 충분하지 않았습니다. 이를 실제 규모로 구현할 연산 자원과 학습 데이터가 함께 갖춰졌을 때, 비로소 변화가 시작됐습니다.

80년은 방법이 먼저 오고 기계와 자료가 뒤늦게 도착한 시간이었습니다. 마지막 조각이 늦게 나왔을 뿐입니다. 무엇이 언제 왔는지를 알면, 다음에 무엇이 올 차례인지도 조금 보입니다.

다음 편부터는 AI 안에서 실제로 무슨 일이 벌어지는지 열 편에 나누어 다뤄 보겠습니다.