AI는 어떻게 글을 쓸까? 생성형 AI의 작동 원리를 쉽게 이해하기

AI는 어떻게 글을 쓸까? 생성형 AI의 작동 원리를 쉽게 이해하기

생성형 AI를 매일 사용하면서도 "이게 도대체 어떻게 작동하는 거지?"라는 궁금증을 가져본 적 있으신가요? 원리를 이해하면 프롬프트를 작성하는 실력이 비약적으로 향상됩니다. 이 가이드는 비전공자인 B2B 영업사원과 직장인이 ChatGPT를 직접 조작하면서 AI의 작동 원리를 체감할 수 있도록 설계되었습니다.

준비물 및 사전 세팅

필요한 도구

• ChatGPT (무료 버전도 가능, chat.openai.com 접속)

• 웹 브라우저 (Chrome 권장)

• 메모장 또는 노션 (실습 결과 기록용)

사전 세팅 단계

1. chat.openai.com에 접속합니다.

2. 구글 계정 또는 이메일로 회원가입/로그인합니다.

3. 화면 하단의 입력창이 보이면 준비 완료입니다.

4. 좌측 상단의 "New chat" 버튼을 클릭하여 새 대화를 시작합니다.

💡 실전 팁: 이 가이드의 모든 실습은 하나의 새 대화창에서 순서대로 진행하세요. AI의 응답 변화를 연속적으로 관찰할 수 있습니다.

Step 1: AI가 글을 쓰는 기본 원리 — "다음 단어 맞히기 게임"

핵심 개념

생성형 AI의 작동 원리는 놀라울 만큼 단순합니다. **"앞에 나온 단어들을 보고, 다음에 올 확률이 가장 높은 단어를 선택하는 것"**입니다. 마치 스마트폰 키보드의 자동완성 기능과 같은 원리이지만, 수천억 개의 문장을 학습했기 때문에 훨씬 정교합니다.

직접 체험하기

실습 1-1: ChatGPT 입력창에 아래 프롬프트를 그대로 복사하여 붙여넣고 Enter를 누르세요.

다음 문장을 완성해주세요. 가능한 후보 단어 3개와 각각의 확률(%)을 보여주세요.

"오늘 회의에서 신제품 출시 일정을 ___"

예상 결과:

AI는 다음과 같은 형태로 응답합니다.

Before/After 비교

💡 실전 팁: AI가 "생각"하는 것이 아니라 "예측"한다는 사실을 기억하세요. 맥락(앞에 주는 정보)이 많을수록 예측 정확도가 올라갑니다. 이것이 프롬프트를 상세하게 써야 하는 과학적 이유입니다.

Step 2: 토큰(Token) — AI가 글을 읽는 단위 이해하기

핵심 개념

AI는 글을 글자 단위도, 단어 단위도 아닌 "토큰(Token)"이라는 독특한 단위로 쪼개서 처리합니다. 영어에서는 대략 단어 1개 ≈ 1~1.3토큰, 한국어에서는 한 글자가 1~2토큰 정도입니다. 이 토큰 개념을 이해하면 왜 긴 문서를 넣었을 때 AI가 "기억을 잃는지" 알 수 있습니다.

직접 체험하기

실습 2-1: ChatGPT에 아래 프롬프트를 입력하세요.

"안녕하세요, 저는 B2B 영업사원입니다"라는 문장을 토큰 단위로 쪼개서 보여주세요. 각 토큰을 [ ] 괄호로 구분하고, 총 토큰 수를 알려주세요.

예상 결과:

[안녕][하세요][,] [저는] [B][2][B] [영업][사원][입니다]

총 토큰 수: 약 10~15개

실습 2-2: 이번에는 영어 문장으로 비교해보겠습니다.

"Hello, I am a B2B sales representative"라는 문장을 토큰 단위로 쪼개서 보여주세요. 한국어 문장 "안녕하세요, 저는 B2B 영업사원입니다"와 토큰 수를 비교해주세요.

토큰이 중요한 이유 — 실제 수치

💡 실전 팁: 한국어는 영어보다 1.5~2배 더 많은 토큰을 소모합니다. 긴 제안서를 AI에 분석 요청할 때 "내용이 잘려요"라는 문제가 생긴다면, 토큰 한도를 초과한 것입니다. 핵심 내용만 추려서 입력하거나 여러 번 나누어 입력하세요.

Before/After 비교

Step 3: 학습 데이터 — AI의 "경험"이 곧 한계

핵심 개념

AI는 인터넷의 책, 기사, 웹페이지, 논문 등 수천억 개의 텍스트를 학습했습니다. 이것을 **학습 데이터(Training Data)**라고 합니다. 중요한 점은 AI가 "아는 것"은 학습 데이터에 있던 내용뿐이라는 것입니다. 2024년 4월 이후의 뉴스, 여러분 회사의 내부 문서, 비공개 고객 정보는 AI가 알 수 없습니다.

직접 체험하기

실습 3-1: AI의 학습 데이터 한계를 직접 확인해봅시다. ChatGPT에 아래를 입력하세요.

당신의 학습 데이터는 언제까지의 정보를 포함하고 있나요? 그리고 다음 질문에 답해주세요:

1. 2024년 한국의 GDP 성장률은?

2. 삼성전자의 최신 분기 실적은?

3. "CRM"이라는 용어의 뜻은?

관찰 포인트:

• 1번과 2번에 대해서는 "정확한 최신 정보를 제공하기 어렵다"는 답변이 나올 가능성이 높습니다.

• 3번처럼 일반적인 지식은 정확하게 답변합니다.

실습 3-2: 이번에는 AI에게 "없는 정보"를 제공한 뒤 반응을 관찰합니다.

우리 회사 'ABC테크'는 2024년 3분기 매출 150억 원, 영업이익 20억 원을 달성했습니다. 전년 동기 대비 매출 30% 성장, 영업이익 50% 성장입니다. 이 실적을 바탕으로 고객사에 보낼 뉴스레터 초안을 작성해주세요.

관찰 포인트: 여러분이 직접 제공한 데이터를 활용하여 글을 작성하는 것을 확인하세요. AI는 스스로 이 정보를 알 수 없었지만, 프롬프트에 포함시키면 즉시 활용합니다.

Before/After 비교

💡 실전 팁: 영업 제안서에 최신 시장 데이터를 넣을 때는 반드시 신뢰할 수 있는 출처에서 데이터를 직접 확보한 뒤, 프롬프트에 함께 제공하세요. AI에게 "최신 데이터를 알려달라"고 하는 것은 위험합니다.

Step 4: 온도(Temperature) — AI의 "창의성 조절 다이얼"

핵심 개념

AI에는 **Temperature(온도)**라는 설정값이 있습니다. 이 값이 낮으면(0에 가까우면) AI는 가장 확률이 높은 단어만 선택하여 정확하고 일관된 답변을 합니다. 높으면(1~2에 가까우면) 확률이 낮은 단어도 선택하여 창의적이지만 예측 불가능한 답변을 합니다.

직접 체험하기

실습 4-1: 같은 질문을 두 가지 스타일로 요청해봅시다.

먼저 "낮은 온도" 스타일을 체험합니다. ChatGPT에 입력하세요:

당신은 정확성을 최우선으로 하는 보고서 작성자입니다. 창의적 표현 없이, 사실만 간결하게 작성하세요.

질문: CRM 도입의 장점 3가지를 설명해주세요.

결과를 메모장에 복사해두세요. 그다음 "New chat"을 눌러 새 대화를 시작하고 아래를 입력합니다:

당신은 감성적인 마케팅 카피라이터입니다. 독창적인 비유와 감각적인 표현을 최대한 활용하세요.

질문: CRM 도입의 장점 3가지를 설명해주세요.

두 결과 비교 예시

💡 실전 팁: B2B 제안서의 실적 데이터 섹션은 "정확성 우선" 스타일로, 도입부와 결론은 "창의성 우선" 스타일로 각각 요청하면 완성도 높은 문서를 만들 수 있습니다. 한 문서 안에서도 섹션별로 AI의 성격을 바꿔가며 활용하세요.

Step 5: 컨텍스트 윈도우 — AI의 "단기 기억력"

핵심 개념

AI에는 **컨텍스트 윈도우(Context Window)**라는 것이 있습니다. 쉽게 말해 대화의 기억 용량입니다. 대화가 길어지면 초반에 나눈 내용을 AI가 "잊어버리는" 현상이 발생합니다. 이것은 버그가 아니라, 토큰 한도에 의한 구조적 한계입니다.

직접 체험하기

실습 5-1: AI의 기억력 한계를 체험합니다.

1단계 — ChatGPT에 입력:

지금부터 나는 'ABC테크'의 영업사원 김민수입니다. 우리 회사의 주력 제품은 'SmartCRM Pro'이고, 타겟 고객은 직원 수 100~500명 규모의 중견기업입니다. 이 정보를 기억해주세요.

2단계 — AI가 응답하면, 다른 주제로 10~15회 정도 대화를 이어가세요 (아무 주제나 괜찮습니다. 예: "오늘 날씨 어때?", "파이썬이란?", "좋은 책 추천해줘" 등).

3단계 — 충분히 대화한 후 아래를 입력:

내 이름과 회사명, 주력 제품이 뭐였지?

관찰 포인트: 대화가 짧으면 정확히 기억하지만, 매우 길어지면 초반 정보를 잊을 수 있습니다.

Before/After 비교

💡 실전 팁: 중요한 프로젝트는 "시스템 프롬프트"처럼 매 대화 시작 시 핵심 정보를 요약하여 붙여넣는 템플릿을 만들어두세요. 예를 들어:

[매 대화 시작 시 붙여넣는 템플릿]

나는 ABC테크 영업2팀 김민수입니다. 주력 제품: SmartCRM Pro (월 구독료 50만 원/팀). 타겟: 중견기업 IT 담당자. 톤: 전문적이되 친근하게. 이 맥락을 유지하며 아래 요청에 답해주세요.

Step 6: 할루시네이션 — AI가 "그럴듯한 거짓말"을 하는 이유

핵심 개념

AI는 확률적으로 가장 자연스러운 다음 단어를 선택합니다. 이 과정에서 학습 데이터에 없는 내용도 "그럴듯하게" 만들어내는 현상이 발생합니다. 이것을 **할루시네이션(Hallucination)**이라고 합니다. AI가 의도적으로 거짓말하는 것이 아니라, "자연스러운 문장을 완성하려는 본능" 때문에 생기는 구조적 현상입니다.

직접 체험하기

실습 6-1: AI의 할루시네이션을 의도적으로 유발해봅시다.

"김철수 교수의 2023년 논문 'B2B 영업에서 AI 활용의 효과'의 핵심 내용을 요약해주세요."

관찰 포인트: 이 논문과 저자는 제가 임의로 만든 가상의 정보입니다. 그런데 AI는 높은 확률로 "그럴듯한 요약"을 만들어냅니다. 이것이 할루시네이션입니다.

실습 6-2: 할루시네이션을 방지하는 프롬프트를 체험합니다.

"김철수 교수의 2023년 논문 'B2B 영업에서 AI 활용의 효과'의 핵심 내용을 요약해주세요. 만약 이 논문을 모르거나 확인할 수 없다면, 모른다고 솔직히 말해주세요. 절대로 추측하지 마세요."

Before/After 비교

💡 실전 팁: 모든 중요한 프롬프트 끝에 **"확실하지 않은 내용은 모른다고 말해주세요"**를 추가하는 습관을 들이세요. 이 한 문장만으로 할루시네이션 발생률을 약 60~70% 감소시킬 수 있습니다.

Step 7: 종합 실습 — 원리를 활용한 완벽한 프롬프트 작성

지금까지 배운 5가지 원리를 모두 종합하여 실전 프롬프트를 작성해봅시다.

원리 종합 체크리스트

직접 체험하기

실습 7-1: 아래의 "원리 적용 전" 프롬프트와 "원리 적용 후" 프롬프트를 각각 별도의 새 대화에서 입력하고 결과를 비교하세요.

원리 적용 전 (Bad Prompt):

제안서 써줘

원리 적용 후 (Good Prompt):

[역할] 당신은 B2B SaaS 영업 제안서 전문 작성자입니다. 정확한 데이터 기반으로, 전문적이되 읽기 쉬운 톤으로 작성합니다.

[맥락] 우리 회사: ABC테크 / 제품: SmartCRM Pro (월 50만 원/팀, 클라우드 기반 CRM) / 고객사: 직원 300명 규모 제조업체 '한국정밀' / 고객 Pain Point: 엑셀로 고객 관리 → 데이터 유실, 영업팀 간 정보 공유 불가

[요청] 위 정보를 바탕으로 제안서의 "도입 효과" 섹션을 작성해주세요. 구체적 수치(예: 시간 절감 %, 매출 증가 %)를 포함하되, 확실하지 않은 수치는 "일반적으로 ~% 수준"이라고 표기해주세요. 확인할 수 없는 정보는 추측하지 마세요.

[형식] 글머리 기호 3~5개, 각 항목 2~3문장, 총 300자 내외

결과 비교 (실제 테스트 기준)

💡 실전 팁: Good Prompt를 작성하는 데 3분이 더 걸리더라도, 결과물 수정 시간을 20분 이상 절약합니다. 프롬프트 작성 시간은 투자이고, 수정 시간은 비용입니다.

마무리 체크리스트: 오늘 배운 것을 업무에 바로 적용하기

아래 체크리스트를 출력하거나 메모하여 AI를 사용할 때마다 확인하세요.

• 맥락 제공: "나는 누구이고, 상황은 무엇인지" AI에게 충분히 설명했는가?

• 토큰 효율: 불필요한 장문 대신 핵심 정보만 구조화하여 입력했는가?

• 최신 정보: 학습 데이터 이후의 정보는 내가 직접 제공했는가?

• 톤 지정: 보고서/이메일/마케팅 등 용도에 맞는 스타일을 지정했는가?

• 기억 관리: 긴 대화 대신 주제별 새 대화를 시작하고, 핵심 맥락을 재입력했는가?

• 할루시네이션 방지: "모르면 모른다고 말해줘" 문구를 포함했는가?

추가 학습 리소스

원리를 이해한 사람은 도구를 활용하고, 원리를 모르는 사람은 도구에 의존합니다.

오늘 배운 생성형 AI의 작동 원리 — 확률 예측, 토큰, 학습 데이터, 온도, 컨텍스트 윈도우, 할루시네이션 — 는 앞으로 어떤 AI 도구가 나오더라도 변하지 않는 기본 원리입니다. 이 6가지를 체득하면, 여러분의 AI 활용 실력은 상위 10%에 진입하게 됩니다.