P3TAI는 어떻게 작동하나
블로그 카테고리 「AI는 어떻게 작동하나」 · 12편 · 연재 순서
챗GPT 역사, 1943년에 시작돼 80년이 걸렸습니다
생각을 계산으로 옮기는 방법은 80년 전에 나왔고, 없던 것은 기계와 자료였습니다
생성형 AI 원리, 답 대신 다음 한 조각을 고릅니다
지금까지의 글을 보고 다음 한 조각을 확률로 고르는 일을 반복합니다
AI 토큰이란? 끝말잇기와 글자 세기에 약한 이유
최소 단위가 글자가 아니라 토큰이라, 글자 세기와 끝말잇기에 약합니다
임베딩이란? 말의 뜻을 숫자로 바꿔 문서를 찾는 법
글을 숫자 묶음으로 바꾸면 비슷한 뜻이 가까운 자리에 놓입니다
어텐션이란? AI가 「그것」이 무엇인지 찾아내는 계산
질문·이름표·내용 셋으로 나눠 무엇을 얼마나 참고할지 숫자로 냅니다
챗GPT 답이 매번 다른 이유, 확률로 뽑기 때문입니다
AI 는 후보마다 점수를 매겨 하나를 뽑습니다 — 그 점수는 사실 여부가 아닙니다
AI에 GPU가 필요한 이유, 정작 막히는 곳은 메모리
행렬 곱셈은 GPU 가 맡지만, 답을 쓰는 동안의 병목은 메모리입니다
AI 학습 원리, 「틀렸어」 해도 바로 안 배우는 이유
그 말은 지금 대화에만 반영됩니다 — 모델 안의 값은 그대로입니다
AI 할루시네이션, 「모른다」 대신 지어내는 이유
정답률만으로 채점하면 「모른다」는 답이 손해가 됩니다 — 그래서 환각이 남습니다
AI 토큰 요금, 대화가 길면 비싸지는 이유 셋
토큰이 두 배가 되면 비교할 쌍은 네 배가 됩니다 — 느려지는 자리가 여기입니다
클로드 코드 같은 AI 에이전트, 파일은 누가 고칠까요
모델이 만드는 것은 도구를 부르는 요청이고, 실행은 권한을 받은 프로그램이 합니다
파라미터 뜻, 크기 순서와 점수 순서는 달랐습니다
알리바바는 5조~10조 개로 키울 계획이지만, 같은 점수표에선 크기 순서대로 줄 서지 않았습니다
이 질문에서 추적 중인 세부질문
- 추적 중AI가 좋아진 건 모델 덕인가, 도구(하네스) 덕인가→ 클로드 코드 같은 AI 에이전트, 파일은 누가 고칠까요
- 추적 중AI는 크게(매개변수를 많이) 만들수록 계속 똑똑해지나→ 파라미터 뜻, 크기 순서와 점수 순서는 달랐습니다