LLM (Large Language Model, 거대언어모델)
Term (용어)aiverifiedFri Apr 24

LLM (Large Language Model, 거대언어모델)

별칭: 거대언어모델 · Large Language Model · 대형 언어 모델

#기술용어#LLM#거대언어모델#GPT#Claude#Gemini#NextTokenPrediction

LLM (Large Language Model, 거대언어모델)

정의

거대한 양의 텍스트 데이터로 학습된 신경망 모델로, 문장의 다음 단어를 확률적으로 예측하는 방식으로 자연어를 생성하는 인공지능 시스템. 매개변수(parameters) 수가 수십억~수조 단위에 이르며, 트랜스포머(term/transformer-architecture) 구조를 기반으로 한다.

본문 — 기술 상세

작동 원리

LLM의 핵심은 **다음 토큰 예측(Next Token Prediction)**이다. "나는 오늘 아침에 ___을 먹었다"라는 문장에서 빈칸에 올 단어의 확률 분포를 계산하고, 그 분포에서 토큰을 샘플링하여 출력한다. 이 단순한 작업을 수십억 번 반복 학습하면, 모델은 언어의 문법·의미·상식·추론 패턴을 통계적으로 내재화한다.

학습 단계

  1. 사전학습(Pre-training) — 인터넷의 수조 토큰을 자기지도학습(self-supervised). 비용 수억~수십억 원
  2. 지도 미세조정(SFT, Supervised Fine-Tuning) — 인간이 작성한 양질의 지시-응답 쌍으로 미세조정
  3. 인간 피드백 강화학습(RLHF / RLAIF) — 인간(또는 AI)이 응답에 순위를 매기고 보상 모델로 정렬

주요 모델 (2026년 기준)

  • OpenAI: GPT-4o, GPT-5, o1·o3 (추론 특화)
  • Anthropic: Claude Sonnet 4.6, Opus 4.7
  • Google DeepMind: Gemini 2.5, 3.0
  • Meta: Llama 3.x (오픈소스)
  • 국내: 네이버 HyperCLOVA X, 카카오 KoGPT 등

핵심 능력과 한계

  • 창발 능력(Emergent Abilities): 모델 크기가 임계점을 넘으면 산수·코드·추론 능력이 갑자기 나타남
  • 인컨텍스트 학습(In-Context Learning): 별도 학습 없이 프롬프트의 몇 개 예시만으로 새 작업 수행
  • 한계: 환각(term/hallucination-환각), 최신 지식 단절, 결정론적 추론 약함, 진정한 이해 ✗ (패턴 인식만)

사역 적용

본 LLMWiki는 LLM이 wiki를 컴파일·유지하는 주체이다 (concept/wiki-llm-managed). 사역자는 source 큐레이션·신학적 분별을 맡고, LLM은 요약·교차참조·기록 잡일을 담당. 본 프로젝트의 모든 자동 저작(소책자·PPT·칼럼·카드뉴스 + 사역별 계획)이 LLM의 거룩한 질문에 응답한 결과다.

LLM 선택 기준: 신학적 검증 가능성(컨텍스트 큰 모델 선호), 한국어 품질, 윤리·안전 정렬, API 비용·속도. 본 프로젝트는 Claude(Anthropic)를 1차 LLM으로 사용 — Constitutional AI 방식이 가드레일 친화적.

한계와 주의사항

  • LLM은 거울일 뿐 생명이 없다 — 학습 데이터를 반사할 뿐, 영성·예배·기도 ✗ (concept/three-tier-existence-order 제3계층)
  • 환각(Hallucination) 위험 — 존재하지 않는 성경 구절을 그럴듯하게 생성. 3중 가드레일 필수
  • 편향(Bias) — 학습 데이터의 세속적·다원주의적 편향이 답변에 그대로 반영될 수 있음
  • 개인정보 — LLM 제공자의 API에 보내는 모든 입력은 외부 서버를 거침. 미성년자 정보 입력 절대 금지

관련