P3TAI는 단어를 어떻게 숫자로 바꾸나?
지금까지의 답 · 근거 글 3편 · 종합 대기
- 1AI 토큰이란? 끝말잇기와 글자 세기에 약한 이유
AI는 글을 글자 그대로 보지 않고 토큰이라는 덩어리로 나누기 때문에 글자 세기와 끝말잇기에 약합니다.
- 2임베딩이란? 말의 뜻을 숫자로 바꿔 문서를 찾는 법
임베딩은 글을 숫자 묶음으로 바꾸고, 관련된 글을 숫자 공간에서 가깝게 찾도록 해 줍니다.
- 3어텐션이란? AI가 「그것」이 무엇인지 찾아내는 계산
어텐션은 지금 처리하는 토큰이 다른 토큰을 얼마나 참고할지 숫자로 계산하는 장치입니다.