🤖 AI · IT 교육
Local LLM 기반 AI 기술교육 — 데이터가 회사 밖으로 나가지 않는 사내 AI
클라우드 AI에 올릴 수 없는 자료를, 사내 PC·서버의 AI로 다룬다
⏱ 교육 시간8시간
🏢 교육 방식기업 출강 · 맞춤 설계
👤 담당 강사김성일
✅ 핵심 성과보안 때문에 AI를 못 쓰던 업무에 사내 AI를 바로 적용
시험·측정 데이터, 설계 자료, 고객 기술 문서처럼 외부 클라우드 AI에 올릴 수 없는 자료를 다루는 기업을 위한 Local LLM 실습 과정입니다. 오픈 모델(Gemma · Qwen 등)을 사내 PC나 서버에서 직접 실행해 데이터가 회사 밖으로 나가지 않는 AI 환경을 만들고, 보고서 초안·측정 결과 요약·기술문서 번역 같은 실제 업무에 적용합니다. 이어서 사내 문서를 연결하는 RAG와 Python API 연동까지 하루 안에 실습하고, 회사에 맞는 도입 방향을 정리합니다. 강의는 KAIST 기계공학 석사, 삼성전자 책임연구원 시절 소음 관련 연구개발을 직접 수행한 김성일 강사가 맡아 엔지니어의 업무 언어로 진행합니다. 실습 환경은 참석자 노트북에서 직접 실행하는 방식과, 사내 서버 또는 강사 지참 Mac mini에 접속하는 방식 중 회사 사정에 맞춰 고를 수 있습니다.
💻 이 주제, 온라인 강의로 먼저 배워보기 →누구를 위한 과정인가요?
KAIST 기계공학 학·석사를 마치고 삼성전자 책임연구원으로 소음 관련 연구개발을 수행한 엔지니어 출신입니다. 현재 비즈니케이션 대표이자 과학기술정보통신부 텍스코어 인스트럭터로 AI 자동화·AX 교육을 맡고 있습니다.
무엇을 배우나요?
- 사내 PC·서버에서 오픈 모델을 직접 설치·실행하고, 데이터가 외부로 나가지 않는 AI 사용 환경을 이해한다
- 보고서 초안·측정 결과 요약·기술문서 번역에 Local LLM을 적용하고, 수치·단위 오류를 검증하는 습관을 익힌다
- RAG와 API 연동으로 사내 문서·소프트웨어와 연결하는 구조를 실습하고, 회사의 도입 방향을 정리한다
커리큘럼
모듈1 : Local LLM 개요
- 데이터 보안 관점의 사내 AI
- 클라우드 AI와 Local LLM 비교
- 오픈 모델 현황(Gemma · Qwen 등)
- 사내 AI 서버 구조
모듈2 : 실행 환경 구축
- Ollama · LM Studio 설치
- 소형 모델 선정과 양자화
- (서버형) Ollama 서버 · Open WebUI · 네트워크 접속
모듈3 : 업무 활용 실습
- 보고서 초안 작성
- 측정 결과 요약
- 영문 기술문서 번역
모듈4 : 활용 고도화와 한계
- 프롬프트 작성 원칙
- 결과 검증
- 수치 및 단위 오류 점검
- 모델 규모별 품질 비교
모듈5 : RAG 개념과 구성
- RAG 구조
- 문서 분할과 임베딩
- 문서 폴더·공용 저장소 연결
모듈6 : RAG 실습
- 목업 문서 기반 질의응답
- 답변 출처 확인
모듈7 : API 연동 실습
- Ollama API
- Python 연동
- 보고서 생성 자동화
- 사내 소프트웨어 연계
모듈8 : 도입 방안과 정리
- 개인 PC 활용 범위
- 서버 사양 산정
- 접근·권한 관리
- 단계별 도입 계획
- 질의응답
이 과정에서 쓰는 도구
기대 효과 / 수료 후
- 보안 때문에 AI를 못 쓰던 업무에 사내 AI를 바로 적용
- 교육 다음 날부터 쓸 수 있는 개인 PC 또는 사내 서버 AI 환경 확보
- 사내 AI 서버 구축 시 사양 산정·권한 관리·단계별 도입의 기준 확보
관련 강의
추천 온라인 강의
온라인 강의로 먼저 배워보기
출강 도입 전에, 이 주제의 핵심을 온라인 강의로 미리 경험해 보세요.
자주 묻는 질문
시험·측정 데이터, 설계 자료, 고객 기술 문서처럼 외부 AI에 올리기 어려운 자료를 다루는 제조·엔지니어링·연구 조직에 맞습니다. 엔지니어·연구원·기술 실무자가 주 대상이며, 개발 경험이 있으면 API 연동까지 더 깊게 다룹니다.
두 가지 중 고를 수 있습니다. 1안은 참석자 노트북에서 모델을 직접 실행하는 방식으로 RAM 16GB 이상(권장 32GB)·SSD 여유 30GB가 필요합니다. 2안은 사내 서버 또는 강사가 가져가는 Mac mini에 모델을 설치하고 노트북 브라우저로 접속하는 방식으로, 노트북 사양과 관계없이 균일하게 실습할 수 있습니다. 노트북 사양이 고르지 않으면 2안을 권합니다.
일반 노트북으로 가능합니다. 다만 GPU가 없으면 응답 속도가 느릴 수 있어 소형 모델로 실습하고, 교육 전 사전 구동 테스트로 사양을 확인합니다.
KAIST 기계공학 학·석사를 마치고 삼성전자 책임연구원으로 소음 관련 연구개발을 수행한 엔지니어 출신입니다. 현재 비즈니케이션 대표이자 과학기술정보통신부 텍스코어 인스트럭터로 AI 자동화·AX 교육을 맡고 있습니다.
Local LLM 기반 AI 기술교육 — 데이터가 회사 밖으로 나가지 않는 사내 AI
클라우드 AI에 올릴 수 없는 자료를, 사내 PC·서버의 AI로 다룬다
교육 목표
- 사내 PC·서버에서 오픈 모델을 직접 설치·실행하고, 데이터가 외부로 나가지 않는 AI 사용 환경을 이해한다
- 보고서 초안·측정 결과 요약·기술문서 번역에 Local LLM을 적용하고, 수치·단위 오류를 검증하는 습관을 익힌다
- RAG와 API 연동으로 사내 문서·소프트웨어와 연결하는 구조를 실습하고, 회사의 도입 방향을 정리한다
기대 효과
- 보안 때문에 AI를 못 쓰던 업무에 사내 AI를 바로 적용
- 교육 다음 날부터 쓸 수 있는 개인 PC 또는 사내 서버 AI 환경 확보
- 사내 AI 서버 구축 시 사양 산정·권한 관리·단계별 도입의 기준 확보
커리큘럼
Module 1모듈1 : Local LLM 개요
- 데이터 보안 관점의 사내 AI
- 클라우드 AI와 Local LLM 비교
- 오픈 모델 현황(Gemma · Qwen 등)
- 사내 AI 서버 구조
Module 2모듈2 : 실행 환경 구축
- Ollama · LM Studio 설치
- 소형 모델 선정과 양자화
- (서버형) Ollama 서버 · Open WebUI · 네트워크 접속
Module 3모듈3 : 업무 활용 실습
- 보고서 초안 작성
- 측정 결과 요약
- 영문 기술문서 번역
Module 4모듈4 : 활용 고도화와 한계
- 프롬프트 작성 원칙
- 결과 검증
- 수치 및 단위 오류 점검
- 모델 규모별 품질 비교
Module 5모듈5 : RAG 개념과 구성
- RAG 구조
- 문서 분할과 임베딩
- 문서 폴더·공용 저장소 연결
Module 6모듈6 : RAG 실습
- 목업 문서 기반 질의응답
- 답변 출처 확인
Module 7모듈7 : API 연동 실습
- Ollama API
- Python 연동
- 보고서 생성 자동화
- 사내 소프트웨어 연계
Module 8모듈8 : 도입 방안과 정리
- 개인 PC 활용 범위
- 서버 사양 산정
- 접근·권한 관리
- 단계별 도입 계획
- 질의응답
강사소개
김성일 강사
투자자를 설득하는 기술, 글로벌 IR 피칭 전문가
학력
ㆍKAIST 기계공학과 석사
ㆍKAIST 기계공학과 학사
경력
ㆍ(現) 비즈니케이션 대표
ㆍ(現) 과기정통부 텍스코어 인스트럭터
ㆍ(現) 연세대학교 대학원 창업 강의
ㆍ(前) 삼성전자 책임연구원
ㆍ(前) KOICA ODA 창업전문가 (세네갈, 캄보디아, 라오스)