지식 · AI 기초
어텐션 메커니즘
Attention Mechanism
📂AI 기초⏱읽기 1분📊심화🔗관련 3
어텐션 메커니즘이란?
한 줄 정의
입력의 여러 부분 중 '지금 중요한 곳'에 더 집중하게 하는 신경망 기법. 트랜스포머와 현대 LLM의 심장.
⚡ 3줄 요약
- '지금 중요한 곳'에 집중하는 기법
- 멀리 떨어진 단어 관계도 포착
- 트랜스포머·LLM의 심장
어텐션은 문장을 처리할 때 모든 단어를 똑같이 보지 않고, 맥락상 중요한 단어에 '가중치를 더 주는' 방식입니다. 예를 들어 '그 은행에 갔다'에서 '은행'의 의미를 정할 때 주변 어떤 단어가 중요한지를 스스로 판단합니다. 덕분에 멀리 떨어진 단어 간 관계도 잘 포착합니다.
2017년 구글의 '어텐션이 전부다(Attention Is All You Need)' 논문이 어텐션만으로 트랜스포머를 만들며 판을 바꿨습니다. 이 셀프 어텐션 구조가 GPT·BERT 등 현대 LLM의 토대가 됐습니다. 순차 처리하던 RNN과 달리 병렬 처리가 가능해, 대규모 학습의 문을 열었습니다.
💡 쉽게 말하면
긴 문장에서 핵심 단어에 형광펜을 치는 것 — 무엇에 집중할지 스스로 정합니다.
실무에서 왜 중요한가
어텐션은 '무엇에 집중할지'를 학습하게 해, 긴 맥락 이해와 대규모 병렬 학습을 가능케 했습니다.
유래와 출처
구글 연구진의 논문 「Attention Is All You Need」(2017)에서 셀프 어텐션 기반 트랜스포머가 제안되며 현대 LLM의 기반이 됐습니다.
출처 · Vaswani et al., 「Attention Is All You Need」(2017) · 원문 보기
사례로 이해하기
예를 들어, 어텐션이 문장을 이해하는 과정을 그려봅시다.
- 입력 — '그녀는 강 옆 은행에 앉았다'를 받습니다.
- 질문 — '은행'의 의미를 정해야 합니다.
- 가중 — '강 옆'에 높은 어텐션을 줍니다.
- 해석 — 금융기관이 아닌 '강둑'으로 이해합니다.
- 활용 — 이 방식으로 전체 맥락을 파악합니다.
관련 용어
트랜스포머문장 속 모든 단어의 관계를 한 번에 파악하는 '어텐션' 방식의 신경망 구조. 오늘날 생성형 AI의 기반.LLM · 대규모 언어모델방대한 텍스트로 학습해 '다음에 올 말'을 예측하며 문장을 생성하는 대규모 신경망. ChatGPT·Claude의 두뇌.토큰화문장을 AI가 처리할 수 있는 작은 단위(토큰)로 쪼개는 과정. LLM이 글을 '읽는' 첫 단계.
이 용어와 연결된 교육
📚에이전트 AI 실무 입문나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
한 문장 안에서 단어들끼리 서로 얼마나 관련 있는지를 계산하는 어텐션입니다. 트랜스포머의 핵심입니다.
긴 맥락을 잘 잡고 병렬 처리가 가능해, 대규모 언어모델 학습의 문을 열었습니다.
한 문장 안에서 단어들이 서로 얼마나 관련 있는지 계산하는 어텐션입니다.
긴 맥락을 잘 잡고 병렬 처리가 가능해 대규모 언어모델 학습의 문을 열었습니다.