지식 · AI 기초
AI 정렬
AI Alignment
📂AI 기초⏱읽기 1분📊실무🔗관련 2
AI 정렬이란?
한 줄 정의
AI가 인간의 의도·가치에 맞게 행동하도록 만드는 연구. '똑똑한 AI'를 '안전하고 이로운 AI'로.
⚡ 3줄 요약
- AI를 인간 의도·가치에 맞춤
- '똑똑한'을 '안전하고 이로운'으로
- RLHF·레드팀이 수단
AI 정렬은 AI가 인간이 진짜 원하는 것에 부합하게 행동하도록 하는 문제입니다. AI는 주어진 목표를 문자 그대로 최적화하다 엉뚱하거나 해로운 방식을 택할 수 있습니다 — '클릭을 늘려라'는 목표가 자극적 가짜뉴스를 부추기는 식입니다. 정렬은 이런 '목표의 어긋남'을 막는 연구입니다.
LLM에서는 사람의 피드백으로 유해·부정확한 답을 줄이는 RLHF, 안전 규칙 학습 등이 정렬 기법입니다. 모델이 강력해질수록 정렬의 중요성이 커집니다. '무엇을 할 수 있나'(능력)와 '무엇을 해야 하나'(가치)를 맞추는 것으로, 책임 있는 AI의 핵심 주제입니다.
💡 쉽게 말하면
강력한 로봇에게 '무엇을 해야 하나'를 가르치는 일 — 능력만큼 방향이 중요합니다.
실무에서 왜 중요한가
강력한 AI일수록 '의도대로 안전하게 행동하는가'가 중요합니다. 정렬은 AI 안전의 핵심입니다.
유래와 출처
AI 안전(AI Safety) 연구에서 발전한 개념으로, 대규모 AI의 능력 향상과 함께 핵심 과제로 부상했습니다.
사례로 이해하기
예를 들어, LLM을 정렬한다고 해봅시다.
- 목표 — '유용하고 안전한 답'을 지향합니다.
- 피드백 — 사람이 좋은/나쁜 답을 평가합니다.
- 학습 — 그 피드백으로 모델을 조정합니다(RLHF).
- 규칙 — 유해 요청을 거절하도록 훈련합니다.
- 점검 — 레드팀으로 취약점을 찾아 보완합니다.
관련 용어
RLHF · 인간 피드백 강화학습사람이 매긴 선호(어느 답이 더 좋은지)로 AI를 다듬어, 더 유용하고 안전하게 만드는 학습 기법. ChatGPT를 '쓸 만하게' 만든 비결.레드팀 · AI 레드티밍AI의 약점·위험을 일부러 공격적으로 찾아내 개선하는 활동. '악의적 사용자'를 흉내 내 미리 막는다.
이 용어와 연결된 교육
📚AX 컨설턴트 육성 교육나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
주어진 목표를 문자 그대로 최적화하다 인간의 진짜 의도와 다른 방식을 택할 수 있기 때문입니다.
사람 피드백 학습(RLHF), 안전 규칙 훈련, 레드팀 점검 등을 함께 씁니다.
목표를 문자 그대로 최적화하다 인간의 진짜 의도와 다른 방식을 택할 수 있기 때문입니다.
모델이 강력할수록 '의도대로 안전하게 행동하는가'가 중요해집니다. AI 안전의 핵심입니다.