1일차에서 LLM의 네 가지 한계 중 두 가지로 지식 컷오프와 할루시네이션을 다뤘습니다. 모델은 학습 시점 이후의 정보를 알 수 없고, 모르는 내용을 그럴듯하게 지어내는 문제가 있습니다. RAG는 이 두 가지 한계를 정면으로 겨냥한 아키텍처입니다. 모델의 가중치를 건드리지 않고, 외부 문서를 검색해서 컨텍스트로 주입하는 방식으로 최신 정보와 검증된 정보를 답변에 반영합니다. 2020년 Lewis et al. 논문에서 처음 제안된 이후 Naive RAG에서 Advanced RAG, Modular RAG, Agentic RAG로 빠르게 진화하고 있는 이 구조를 전체적으로 정리합니다. 🤖 1. RAG의 개념1.1 RAG의 정의 RAG(Retrieval-Augmented Generation)는 LLM의 텍스트..

최근 AI 흐름을 보면 모델 자체의 성능만큼이나 AI가 외부 시스템과 어떻게 연결되는가가 중요해지고 있습니다. 예전에는 챗봇에게 질문을 던지고 답변을 받는 정도가 중심이었다면, 이제는 AI가 파일을 읽고, 데이터베이스를 조회하고, 깃허브 이슈를 확인하고, 다른 전문 에이전트에게 일을 넘기는 구조까지 이야기되고 있습니다. 이 변화가 자연스럽게 이어지는 이유는 간단합니다. AI가 아무리 똑똑해져도 실제 업무 데이터와 연결되지 못하면 할 수 있는 일이 제한됩니다. 반대로 아무 기준 없이 여기저기 연결되면 보안과 권한 관리가 복잡해집니다. 그래서 최근에는 AI 에이전트가 도구, 데이터, 다른 에이전트와 연결되는 방식을 표준화하려는 움직임이 빠르게 나타나고 있습니다. 그중 대표적으로 자주 언급되는 것이 MCP와 ..

1, 2일차에서는 LLM의 작동 원리(다음 단어 예측)와 토큰·컨텍스트·temperature가 그 작동을 조절하는 방식을 다뤘습니다. 그런데 실무에서 결과물 품질을 가장 크게 좌우하는 요소는 모델 자체가 아니라 입력을 어떻게 설계하는가입니다. 같은 모델, 같은 temperature로 호출해도 프롬프트 구조에 따라 결과 품질이 크게 달라집니다. 이번 글에서는 이 입력 설계를 체계적으로 다루는 프롬프트 엔지니어링을 정리합니다. 🤖 1. 프롬프트 엔지니어링 1.1 프롬프트의 정의 프롬프트 엔지니어링은 생성형 AI 모델이 원하는 결과를 만들도록 입력을 설계하고 최적화하는 작업입니다. 1일차에서 다룬 대로 LLM은 "주어진 입력 다음에 올 단어를 예측"하는 구조이기 때문에, 입력(프롬프트)이 어떻게 짜여 있는지..

최근 AI 모델 소식을 보면 단순히 “모델이 더 커졌다”거나 “성능 점수가 좋아졌다”는 이야기만 나오지는 않습니다. 오히려 요즘은 AI가 어떤 입력을 어디까지 이해할 수 있는가, 그리고 그 능력을 어떤 환경에서 실행할 수 있는가가 더 중요한 흐름으로 보입니다. 이번에 살펴볼 모델은 Google이 공개한 Gemma 4 12B입니다. 이름만 보면 Gemma 4 계열에 12B 모델이 하나 추가된 것처럼 보일 수 있지만, 내용을 보면 꽤 흥미로운 기술 포인트가 있습니다. 바로 이미지와 오디오를 다루는 방식입니다. Google은 Gemma 4 12B를 unified, encoder-free multimodal model이라고 소개했습니다. 쉽게 말하면 텍스트만 보는 모델이 아니라 이미지와 오디오까지 함께 다루는 ..

최근 AI 업계 소식을 보면 단순히 “어떤 모델이 더 똑똑해졌는가”보다 AI를 실제 업무에서 어디까지 활용할 수 있는가에 대한 이야기가 더 자주 보입니다. 글을 쓰고, 이미지를 만들고, 코드를 작성하는 단계를 지나 이제는 AI가 보안 취약점을 찾고 패치 방향까지 제안하는 흐름이 나타나고 있습니다. 그중 최근 눈에 띄었던 사례가 Anthropic의 Claude Fable 5와 Claude Mythos 5입니다. 이름만 보면 새로운 Claude 모델이 추가된 것처럼 보이지만, 내용을 살펴보면 단순한 신모델 출시라기보다 AI 보안 모델이라는 새로운 흐름을 보여주는 사례에 가깝습니다. 처음 이 소식을 봤을 때는 “또 고성능 모델이 나온 건가?” 정도로 넘길 수도 있습니다. 그런데 Fable 5와 Mythos 5..

1일차에서 LLM이 결국 "다음 단어를 예측하는 모델"이라는 걸 정리했습니다. 근데 이걸 실제로 API로 호출해서 쓰다 보면, 이 예측 과정이 구체적으로 토큰, 컨텍스트 윈도우, temperature라는 세 가지 단위로 쪼개진다는 걸 알게 됩니다. 처음에는 이 셋을 그냥 "API 호출할 때 신경 써야 하는 파라미터들" 정도로만 봤는데, 파보니까 서로 단단하게 연결된 하나의 흐름이었습니다. 이번 글에서 그 흐름을 따라가보겠습니다. 🤖 1. 토큰 1.1 텍스트와 토큰 모델은 사실 "글자"를 이해하는 게 아닙니다. 신경망 내부는 결국 숫자 연산으로 돌아가기 때문에, 입력된 텍스트는 모델에 들어가기 전에 반드시 숫자로 변환되는 과정을 거칩니다. 이 변환을 토큰화(tokenization)라고 부르고, 변환된 최..