이앤아이 CMS

안녕하세요. 디지털에이전시 이앤아이입니다.

요즘 생성형 AI 이슈를 보면, “모델을 더 키우면 좋아진다”에서 한 걸음 더 나아가 “같은 자원으로 어떻게 더 효율적으로 똑똑하게 만들까”로 초점이 옮겨가고 있습니다. 이런 흐름 속에서 딥시크(DeepSeek)가 공개한 ‘엔그램(Engram)’ 프레임워크가 눈에 띕니다. 핵심은 대형언어모델(LLM)에 ‘기억 저장소’를 붙여, 자주 쓰는 사실이나 문맥을 빠르게 꺼내 쓰게 만들자는 아이디어입니다.



딥시크가 깃허브에 공개한 논문은 조건부 메모리(Conditional Memory)라는 축을 전문가 혼합(MoE) 모델에 추가합니다. MoE는 필요한 순간에 일부 전문가만 활성화해 효율을 높이지만, 트랜스포머 구조 자체는 ‘지식을 조회하는 전용 기능’이 약합니다. 그래서 “알렉산더” 다음에 “대왕”이 올지 같은 단순한 사실을 확인할 때도, 매번 어텐션과 매개변수를 크게 돌려 계산해야 하는 낭비가 생기죠.

엔그램은 이런 ‘뻔한 지식’이나 반복되는 로컬 문맥을 정적 메모리(임베딩 테이블)에 저장해 두고, 필요할 때 직접 조회(Direct Lookup)하는 방식으로 해결합니다. 기존의 KV 캐시가 대화 중에 바뀌는 동적 메모리라면, 엔그램은 학습으로 굳어진 지식을 고정 형태로 저장하는 정적 메모리라는 점이 다릅니다. 결과적으로 모델은 매번 같은 사실을 추론하느라 연산을 소모하지 않고, 중요한 추론에 더 집중할 수 있습니다.

흥미로운 건 “얼마나 기억에 맡길 것인가”에 대한 결과입니다. 딥시크는 연산(MoE)과 기억(Engram) 사이의 최적 비율이 존재하며, 특정 지점에서 효율이 극대화되는 U자형 패턴을 발견했다고 밝혔습니다. 실험에서는 매개변수의 약 20~25%를 엔그램 메모리에 할당했을 때 성능이 가장 좋았다고 합니다. 무작정 저장을 늘리면 관리가 부담이 되고, 너무 적으면 효과가 떨어지는 ‘균형의 문제’를 데이터로 보여준 셈입니다.

실제 벤치마크에서도 개선이 확인됩니다. 270억 매개변수 모델 기준으로, 엔그램 모델은 같은 크기의 MoE 모델보다 지식 검색(MMLU, CMMLU)에서 각각 3.4%, 4% 더 나은 성능을 보였고, 일반 추론(BBH, ARC-챌린지)과 코드(HumanEval), 수학(MATH)에서도 향상이 보고됐습니다. 또 긴 문서에서 특정 정보를 찾아내는 ‘건초더미 속 바늘(Needle In A Haystack)’ 테스트에서는 기존 84.2점에서 97점으로 크게 올랐다고 하죠. 즉, 쉬운 건 기억이 처리하고, 어려운 건 모델이 집중하는 구조가 실전에서도 통했다는 이야기입니다.

이 흐름은 업계 전반의 방향과도 맞닿아 있습니다. 오픈AI, 구글, 메타 등도 추론 비용을 낮추는 경량화, 검색 결합(RAG), 장기 컨텍스트 개선, 캐시 최적화 같은 주제를 계속 강화하고 있고, 딥시크는 ‘아키텍처 자체에 기억을 공식적으로 편입’하는 쪽으로 승부수를 던진 모양새입니다. 다음 플래그십 모델로 예상되는 ‘딥시크-V4’가 이런 연구를 얼마나 흡수해 나올지도 관전 포인트고요.

웹 서비스 관점에서 보면, 이런 변화는 곧 사용자 경험의 변화로 이어집니다. 응답이 빨라지고, 길고 복잡한 문서에서도 원하는 정보를 더 잘 찾게 되면, 검색·상담·문서 자동화 같은 기능이 한층 자연스러워집니다. 결국 AI를 붙이는 것만이 아니라, 어떤 구조로 비용과 품질을 관리할지까지가 서비스 경쟁력이 되는 시대가 오고 있습니다.

메타 설명: 딥시크가 공개한 ‘엔그램(Engram)’ 프레임워크는 MoE 기반 LLM에 정적 ‘조건부 메모리’를 추가해 지식 검색 비용을 줄이고, 추론 성능과 긴 컨텍스트 검색 능력을 향상시키는 접근이다.

이앤아이와 함께 더 나은 웹 환경을 만들어 나요!

#딥시크 #Engram #조건부메모리 #MoE #대형언어모델 #LLM최적화 #AI추론 #긴컨텍스트 #RAG #AI인프라 #이앤아이 #디지털에이전시 #대학교홈페이지 #병원홈페이지 #AI전문기업