세레브라스의 초기 고객 알파센스
추론 (Inference)
요즘 반도체 시장에서 메모리와 함께 가장 핫한 단어 중 하나입니다. 엔비디아의 그록(Groq) 인수, 세레브라스의 성공적인 IPO, 그리고 엔비디아에 도전장을 낸 기업들의 펀딩 레이스까지, 2025년 시장의 중심 용어가 ASIC이었다면 2026년 현재 AI 트렌드를 이끌어가는 흐름은 오픈소스, 풀스택, 그리고 에이전트 및 추론 수요인 것입니다.
그런데 우리는 이 추론에 대해 얼마나 알고 있을까요? 특히 비전문가의 입장에서 추론 수요는 도대체 무엇을 의미하며 어떤 지점에서 가장 효용성을 발휘하는 것인지 아직도 직관적이지 않은 느낌이 있습니다. GPU보다 몇 배 빠르다는 벤치마크 숫자는 넘쳐나지만, 그 속도가 어떤 기능을 가능하게 하는지, 그리고 왜 어떤 기업에는 맞고 어떤 기업에는 맞지 않는지는 잘 설명되지 않습니다.
그래서 오늘 뉴스레터에서는 하나의 대표적인 실제 도입 사례를 거울삼아 이 질문에 접근해 보려 합니다. 바로 금융 리서치 플랫폼 알파센스(AlphaSense)가 2025년 세레브라스(Cerebras)의 칩을 도입한 사례입니다.
투자 자료를 검토해 본 사람이라면 알 것입니다. 수백 건의 공시, 실적 발표 내용, 애널리스트 리포트를 하나씩 열어보며 필요한 문장을 찾아내는 작업이 얼마나 지난한지 말입니다. 알파센스는 4주에서 6주가 소요되는 이 과정을 단 20분 안에 끝낼 수 있다고 강조합니다. 5억 건에 달하는 문서를 상대로 애널리스트가 실시간으로 후속 질문을 던지고, 시스템은 초 단위로 답을 돌려줍니다.
이러한 서비스의 질적 변화는 상당 부분 소프트웨어가 아니라 하드웨어의 개선에서 비롯되었다는 점이 흥미롭습니다. 알파센스는 2025년 3월 세레브라스와 파트너십을 맺고 자사 추론 워크로드의 핵심을 이 회사의 칩으로 옮깁니다. 회사 발표에 따르면 추론 속도는 약 10배 빨라졌고, 같은 시간에 처리하는 문서량은 100배 가량 늘었습니다. 흥미로운 점은, 오픈AI가 같은 칩을 도입한 것은 그로부터 1년이나 지난 뒤였다는 사실입니다. 이 시차 안에 추론 칩 시장의 작동 원리가 압축되어 있습니다.
왜 알파센스였나: 워크로드 수요, 그리고 타이밍
알파센스는 공시, 실적 트랜스크립트, 셀사이드 리서치, 전문가 콜을 아우르는 금융 리서치 플랫폼으로, 블룸버그와 CapitalIQ를 이은 차세대 서비스로 떠오르는 곳입니다. 2025년 말 ARR $500Mn을 돌파하며 전년 대비 73% 성장했고 지난달에는 비상장 기업가치가 $7.5Bn을 넘어섰습니다.
이 서비스를 쓰는 사람들은 애널리스트, 뱅커, 시장 전문가처럼 정보를 읽고 종합하는 데 하루의 상당 시간을 쓰는 전문가들입니다. 바로 이 고객들의 데이터 사용 및 분석 업무 성격이 세레브라스의 장점과 잘 맞아떨어진 것입니다.
알파센스가 2025년 초 주목한 것은 단순 검색을 넘어선 “에이전틱(agentic)” 리서치로의 전환이었습니다. AI 에이전트가 스스로 여러 단계의 리서치를 수행하고 수백만 건의 문서를 교차 분석해 애널리스트 수준의 결론을 만들어내는 방향이죠. 2025년 2월 오픈AI가 ‘딥리서치’를 출시하며 처음 대중화시킨 기능합니다.