지식 · AI 기초
트랜스포머
Transformer
📂AI 기초⏱읽기 1분📊심화🔗관련 4
트랜스포머란?
한 줄 정의
문장 속 모든 단어의 관계를 한 번에 파악하는 '어텐션' 방식의 신경망 구조. 오늘날 생성형 AI의 기반.
⚡ 3줄 요약
- 모든 단어 관계를 한 번에 파악
- 어텐션 기반 구조
- 현대 생성형 AI의 기반
트랜스포머는 이전 방식(단어를 순서대로 하나씩 처리)과 달리, '셀프 어텐션(self-attention)'으로 문장 안 모든 단어가 서로 얼마나 관련 있는지를 동시에 계산합니다. 덕분에 긴 문맥을 잘 이해하고, 병렬 처리가 가능해 대규모 학습이 빨라졌습니다.
이 구조 덕분에 모델을 크게 키울 수 있게 됐고, GPT·Claude·Gemini 같은 대규모 언어모델이 모두 이 위에 세워졌습니다. 즉, 트랜스포머는 현대 생성형 AI 붐을 가능하게 한 '엔진'입니다.
💡 쉽게 말하면
문장 속 모든 단어를 동시에 훑어 관계를 잡는 구조 — 오늘날 거의 모든 LLM의 뼈대입니다.
실무에서 왜 중요한가
왜 2020년대 들어 AI가 갑자기 똑똑해졌는지 — 그 기술적 분기점이 바로 트랜스포머입니다.
유래와 출처
2017년 구글 연구진(바스와니 등)이 논문 「Attention Is All You Need」에서 제시했습니다. 순환·합성곱 없이 오직 어텐션만으로 시퀀스를 처리한다는 발상이 이후 거의 모든 대형 AI 모델의 토대가 됐습니다.
출처 · Vaswani et al., 「Attention Is All You Need」(2017, Google) · 원문 보기
사례로 이해하기
예를 들어, 트랜스포머가 문맥을 이해하는 방식을 단순화해 봅시다.
- 입력 — '그 은행 앞 강가에 앉았다'라는 문장을 받습니다.
- 어텐션 — '은행'이 금융이 아니라 '강가'와 관련됨을 문맥에서 계산합니다.
- 동시 처리 — 모든 단어의 관계를 한 번에 병렬로 파악합니다.
- 표현 — 문맥이 반영된 의미 표현을 만듭니다.
- 확장 — 이 구조를 크게 키운 것이 GPT·Claude 같은 LLM입니다.
관련 용어
LLM · 대규모 언어모델방대한 텍스트로 학습해 '다음에 올 말'을 예측하며 문장을 생성하는 대규모 신경망. ChatGPT·Claude의 두뇌.생성형 AI텍스트·이미지·코드·음성 등 새로운 콘텐츠를 만들어내는 AI. ChatGPT·Claude 같은 대규모 언어모델이 대표적이다.머신러닝 · 딥러닝머신러닝은 데이터로 규칙을 스스로 학습하는 AI의 방법, 딥러닝은 그중 인공신경망을 깊게 쌓아 학습하는 강력한 갈래.토큰 · 컨텍스트 윈도우토큰은 AI가 글을 처리하는 최소 단위(대략 단어 조각), 컨텍스트 윈도우는 AI가 한 번에 기억·참고할 수 있는 토큰의 최대 길이.
이 용어와 연결된 교육
📚에이전트 AI 실무 입문나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
트랜스포머는 '구조', LLM은 그 구조로 만든 '대형 언어모델'입니다. LLM이 트랜스포머 위에 세워집니다.
문장 속 어떤 단어가 서로 관련 있는지를 파악해 문맥을 이해하게 해주는 핵심 메커니즘이기 때문입니다.
트랜스포머는 '구조', LLM은 그 구조로 만든 대규모 언어모델입니다.
문장 속 모든 단어 관계를 한 번에 잡아, 긴 맥락 이해와 병렬 학습을 가능하게 하기 때문입니다.