AI 시대 주인공을 꿰찬 메모리와 스토리지
FMS, 기존 명칭은 Flash Memory Summit, 매년 8월 미국 캘리포니아주 산타클라라 컨벤션 센터에서 열리는 세계 최대 규모의 메모리 및 스토리지 산업 전문 글로벌 컨퍼런스입니다. 하지만 2024년 1월 리브랜딩을 감행합니다. 바로 Future of Memory and Storage (FMS). 18년을 써온 이름을 바꾼건 AI 시대 메모리가 가진 위상 변화에 대한 예고편이었습니다. 플래시를 넘어 메모리와 스토리지 산업 전반을 다루겠다는 것이었죠.
그 당시의 상황을 되짚어볼 필요가 있습니다. GPU 수요가 정점을 지나는 것 아니냐는 논쟁이 있었고, 학습보다 추론이 시장을 끌게 된다는 전망이 있었으며, 하이퍼스케일러의 자체 칩이 엔비디아를 위협할 것이라는 이야기가 나오던 무렵입니다. 대부분의 시장 참여자는 이 전망들에 고개를 끄덕였지만, 나중 일로 치부했습니다. 메모리가 AI 인프라의 진짜 병목이 된다는 이야기는 희망사항처럼 들렸죠.
2년이 지난 지금, 당시의 내러티브는 대부분 현실이 되었습니다. 추론 워크로드가 인프라 투자의 방향을 결정하고 있고, 빅테크의 자체 개발 칩은 실제 배치 단계에 들어섰으며, 메모리는 15년 만의 공급 부족과 기록적인 계약가격 상승을 겪는 중입니다. 그만큼 FMS 행사의 위상도 훌쩍 높아졌습니다.
지난 8월 4일부터 6일까지 산타클라라 컨벤션센터에서 열린 FMS 2026에서 확인한 것은, 단순히 메모리월을 넘을 수 있느냐를 넘어 어떤 방식으로 극복하고 있느냐에 대한 답이었습니다. 스무 번째를 맞은 이 행사에는 사흘간 3,500명 이상이 다녀갔고, 350명 넘는 발표자가 세션을 채웠습니다. 이번 Dispatch에서는 현장에서 확인한 일곱 개의 메시지를 정리하고, 반도체 투자자라면 눈여겨 봐야할 인사이트를 짚어보고자 합니다.
모두가 KV cache를 언급합니다
세션을 옮겨 다니며 가장 먼저 확인한 것은 발표 주체를 불문하고 설명의 출발점이 거의 같았다는 점입니다. 메모리 업체든 컨트롤러 업체든 시스템 업체든, 자사 제품의 존재 이유를 KV (Key Value) cache에서 끌어왔습니다.
KV cache는 추론 과정에서 이전 토큰들의 계산 결과를 담아두는 단기 기억입니다. 모델이 답을 만들 때마다 앞선 문맥을 처음부터 다시 계산하지 않으려면 이 값을 어딘가에 들고 있어야 하는데, 컨텍스트가 길어지고 대화가 여러 턴 쌓이고 에이전트가 여러 단계의 작업을 연쇄로 돌릴수록 이 캐시가 급격히 커집니다.
여기서 중요한 것은 이 문제가 GPU를 더 사는 방식으로 깔끔하게 풀리지 않는다는 점입니다. HBM은 가속기 패키지에 본딩되어 나오기 때문에 메모리만 따로 늘릴 수가 없습니다. 메모리를 늘리려면 가속기를 더 붙여야 하고, 그 순간 연산 자원은 남는데 메모리 때문에 GPU를 사는 상황이 됩니다. 실제로 통상적인 구성에서 HBM 용량은 모델 가중치와 KV cache, 그리고 작업 공간이 나눠 쓰는데, 이 중 어느 하나가 커지면 나머지가 밀려납니다.