이앤아이 CMS

안녕하세요. 디지털에이전시 이앤아이입니다.

요즘 생성형 AI 이야기를 하다 보면 이런 질문이 자주 나옵니다. “AI가 똑똑해지려면 결국 모델을 더 키우는 수밖에 없나요?” 그런데 최근 딥시크(DeepSeek)가 공개한 ‘엔그램(Engram)’ 프레임워크는 방향을 조금 다르게 잡습니다. 더 크게만 가는 대신, 자주 쓰는 지식은 ‘기억’으로 저장해 두고 필요할 때 빠르게 꺼내 쓰자는 접근이죠. 마치 사람도 매번 계산하듯 떠올리지 않고, 익숙한 정보는 바로 말해버리는 것처럼요.



딥시크는 깃허브에 공개한 논문에서, 전문가 혼합(MoE) 기반 대형언어모델에 ‘조건부 메모리(Conditional Memory)’라는 축을 추가했다고 설명했습니다. 기존 트랜스포머는 사실상 “조회” 기능이 약해, ‘알렉산더’ 다음에 ‘대왕’이 올지 같은 단순한 사실도 매번 어텐션과 매개변수를 총동원해 계산합니다. 이 과정이 반복되면 비용과 지연이 쌓이죠.

엔그램의 핵심은 단순합니다. 자주 등장하는 사실이나 문맥을 전용 메모리 공간(임베딩 테이블)에 정적으로 저장해 두고, 필요할 때 직접 조회(Direct Lookup)로 가져오게 합니다. 여기서 포인트는 기존 KV 캐시처럼 대화마다 바뀌는 ‘동적 메모리’가 아니라, 학습 과정에서 구조화된 지식을 고정된 형태로 보관하는 ‘정적 메모리’라는 점입니다. 즉, AI가 “매번 추론해서 맞히는” 일을 줄이고 “찾아서 쓰는” 일을 늘린 셈입니다.

흥미로운 건, 딥시크가 이 ‘추론(MoE)’과 ‘기억(Engram)’ 사이의 최적 비율도 제안했다는 부분입니다. 무조건 메모리를 늘리면 좋아질 것 같지만, 너무 많이 저장하면 관리 비용이 커지고 효율이 떨어질 수 있습니다. 연구진은 이를 희소성 할당 문제로 정리하고, 효율이 특정 지점에서 가장 좋아지는 U자형 패턴을 발견했다고 밝혔습니다. 결론은 매개변수의 약 20~25%를 엔그램에 할당했을 때 성능이 가장 좋았다는 것인데요. “적당히 기억하고, 나머지는 똑똑하게 생각한다”는 균형점을 찾은 셈입니다.

실험 결과도 눈에 띕니다. 270억 매개변수 모델 기준으로, 엔그램을 적용한 모델은 지식 검색 벤치마크(MMLU, CMMLU)에서 기존 MoE 모델보다 각각 3.4%, 4% 개선을 보였고, 추론(BBH, ARC-Challenge)뿐 아니라 코드(HumanEval), 수학(MATH)에서도 전반적 향상이 확인됐습니다. 단순 암기 확인에 쓰이던 자원을 메모리가 맡으면서, 트랜스포머의 핵심 레이어가 더 복잡한 추론에 집중해 ‘유효 깊이’가 늘어났다는 설명이 설득력 있게 들립니다.

긴 문서에서 원하는 정보를 찾아내는 능력도 좋아졌습니다. ‘건초더미 속 바늘(Needle In A Haystack)’ 테스트에서 기존 모델이 84.2점인 반면, 엔그램 모델은 97점을 기록했습니다. 실제 서비스에서는 긴 문서 요약, 규정/매뉴얼 검색, 고객 상담 내역 기반 응대 같은 업무에서 체감 차이가 큰 영역이죠.

이번 발표는 웹과 서비스 관점에서도 시사점이 큽니다. AI 기능을 사이트나 업무 시스템에 붙일 때, 단순히 “모델을 크게” 쓰는 것만이 답이 아니라, 어떤 정보는 메모리/검색 구조로 분리해 비용과 속도를 잡는 설계가 중요해졌다는 뜻이니까요. 특히 기업·기관의 지식베이스를 AI에 연결하는 RAG(검색증강생성) 흐름과도 자연스럽게 연결되며, “무엇을 모델이 기억하게 할 것인가”라는 전략 논의가 더 활발해질 것으로 보입니다.

메타 설명: 딥시크가 공개한 ‘엔그램(Engram)’은 MoE 기반 LLM에 정적 메모리(조건부 메모리)를 추가해 지식 조회 성능을 높이고 비용과 지연을 줄이는 프레임워크입니다. 모델이 매번 추론하지 않고 저장된 지식을 직접 조회하는 방식과 최적 메모리 비율(20~25%)이 핵심입니다.

이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#딥시크 #엔그램 #조건부메모리 #MoE #대형언어모델 #LLM #AI모델아키텍처 #지식조회 #NeedleInAHaystack #RAG #이앤아이 #디지털에이전시 #대학교홈페이지 #병원홈페이지 #AI전문기업