Attention Mechanism (어텐션 메커니즘)

정의

시퀀스의 각 위치가 다른 모든 위치(또는 같은 위치 자신)에 얼마나 "주의(attention)"를 줄지를 학습된 가중치로 계산하는 신경망 메커니즘. 트랜스포머(term/transformer-architecture)의 핵심 구성 요소이며, 거대언어모델(term/llm-large-language-model)의 작동 원리.

본문 — 기술 상세

Q-K-V 3단계 매칭

각 토큰은 세 개의 벡터로 변환된다:

• Q (Query, 질의) — "내가 무엇을 찾고 있는가?"
• K (Key, 열쇠) — "나는 누구인가, 어떤 정보를 가지고 있는가?"
• V (Value, 값) — "내가 가진 실제 정보 내용"

어텐션 계산:

Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V

1. Q와 K의 내적 → 모든 토큰 쌍의 관련성 점수
2. softmax → 0~1 확률 분포로 정규화 (총합 1)
3. V에 곱함 → 관련성 높은 토큰의 정보를 더 많이 반영

비유 — 두 가지

1. 칵테일파티 효과 (도서 v4 제2장) 시끄러운 식당에서 수십 명이 동시에 이야기하는데, 누군가가 내 이름을 부르면 그 소음 속에서도 내 이름만 선명하게 들린다. 뇌가 수많은 소음 중 의미 있는 신호에 스포트라이트를 비추는 현상. 어텐션이 정확히 이 일을 수학적으로 한다.

2. 손전등 비유 어두운 도서관에 손전등 하나로 들어간다. 어디를 비추느냐에 따라 보이는 책이 다르다. 프롬프트가 손전등의 각도, 어텐션이 그 빛이 책에 닿는 메커니즘. 같은 데이터베이스라도 사역자가 비추는 각도(프롬프트)에 따라 끌어올려지는 진리의 깊이가 달라진다.

변형

• Self-Attention — 같은 시퀀스 내에서 (LLM 표준)
• Cross-Attention — 다른 시퀀스 사이에서 (인코더-디코더)
• Masked Attention — 미래 토큰 차단 (생성 모델)
• Multi-Head — 여러 어텐션을 병렬로 (다양한 관점)

사역 적용

프롬프트 엔지니어링은 본질적으로 AI의 어텐션을 사역의 본질로 좁히는 기술이다. Persona·Context·Task·Format 4대 요소가 어텐션의 방향을 단계적으로 정교화한다 — 도서 v4의 5단계 진화("일대일" 삼행시 실증)가 정확히 이 어텐션 좁힘의 과정.

거룩한 질문(Holy Prompting)은 어텐션을 사랑·복음·한 영혼의 방향으로 비추는 영적 기술.

한계와 주의사항

• 어텐션은 통계적 가중치일 뿐, 의미·이해를 갖지 않는다 — AI는 여전히 패턴 매칭
• 어텐션 점수가 높다고 해서 신학적으로 옳다는 의미 ✗
• AI 출력의 어텐션 분포를 시각화해도 영적 분별은 사람의 몫

관련

• term/transformer-architecture (어텐션의 컨테이너)
• term/llm-large-language-model (어텐션의 결과물)
• concept/prompt-engineering-for-ministry (어텐션을 사역으로 향하게)
• term/holy-prompting