AI 버블보다 무서운 것: 인프라의 한계

구글의 AI 인프라 책임자가 “AI 제품을 쓰는 이용자가 급증하고 요청 내용도 복잡해지는 상황을 감당하려면 회사의 기술 인프라를 폭발적으로 키워야 한다”고 경고했다. 이 발언은 시장에서 제기되는 ‘AI 버블’ 우려가 지나친 것일 수 있다는 신호이기도 하다.

CNBC 보도에 따르면, 구글 글로벌 AI·인프라 팀을 이끄는 아민 바닷 부사장은 11월 6일 열린 전사 회의 프레젠테이션에서 “우리는 6개월마다 서빙 용량을 두 배로 키워야 한다. 향후 4~5년 동안 1000배 증설이 목표”라고 말했다.

그가 말한 서빙 용량은 구글 클라우드를 기반으로 하는 제미나이 등 AI 제품이 폭증하는 사용자와 요청을 받아도 안정적으로 작동하도록 하는 처리 능력을 뜻한다. 이는 AI 모델을 학습시키는 물리적 인프라, 즉 컴퓨트(연산 인프라)와는 다른 영역이다.

구글 대변인은 포춘에 “AI 서비스 수요가 크게 늘면서 훨씬 더 많은 컴퓨팅 용량을 제공해 달라는 요구를 받고 있다”며 “이는 하드웨어·소프트웨어·모델 최적화를 통한 효율 개선과 신규 투자 확대로 대응하고 있다”고 설명했다. 그러면서 자사 하드웨어가 컴퓨팅 용량 개선을 이끄는 사례로 아이언우드(Ironwood) 칩을 언급했다.

지난 몇 년 동안 구글 클라우드는 물론 아마존, 마이크로소프트 애저 등 모든 ‘하이퍼스케일러’들은 AI 사용자 증가에 대비해 앞다퉈 컴퓨트 확충에 나섰다.

이제는 “사용자들이 실제로 들어왔다”고 퓨처럼 이퀴티스(Futurum Equities)의 셰이 볼루어 최고시장전략가는 말한다. 각 회사가 AI 제품을 공격적으로 늘리면서, 이제는 서빙 용량이 해결해야 할 다음 과제가 됐다는 것이다.

그는 포춘과 인터뷰에서 “우리는 AI의 ‘2단계’에 진입하고 있다”며 “지금은 컴퓨트 용량보다 서빙 용량이 더 중요해지는 단계다. 컴퓨트는 모델을 만들어 내지만, 서빙 용량이 그 모델이 얼마나 넓고 얼마나 빠르게 사용자에게 도달할 수 있는지를 결정한다”고 말했다.

볼루어는 막대한 설비 투자와 자체 AI 칩 개발에 선제적으로 나선 경험을 감안하면 구글은 6개월마다 서빙 용량을 두 배로 늘릴 역량이 충분하다고 평가했다.

그럼에도 그는 구글과 경쟁사들이 여전히 험난한 길을 마주하고 있다고 덧붙였다. AI 제품들이 고도화된 검색 질의나 동영상처럼 훨씬 복잡한 요청을 처리하기 시작하면서 요구되는 인프라 수준이 더 높아지고 있기 때문이다.

그는 “병목은 야심이 아니라 진짜 물리적 제약에 있다”며 “전력과 냉각, 네트워크 대역폭, 그리고 이런 고전력 데이터센터 설비를 구축하는 데 필요한 시간들이 바로 그 제약”이라고 지적했다.

아울러 볼루어는 구글이 이렇게 공격적인 속도로 서빙 용량을 두 배씩 늘려야 할 만큼 AI 인프라 수요에 직면했다는 사실 자체가 ‘AI 비관론자’들이 내놓는 암울한 전망과는 맞지 않는 부분이라고도 말했다.

최근 이런 우려 탓에 나스닥을 포함한 미국 3대 지수는 이번 주에만 1.9% 이상씩 하락했다. 볼루어는 “지금 상황은 투기적 열광이라기보다, 아직 충족되지 못한 실질 수요가 백로그에 쌓여 있는 상태에 가깝다”며 “많은 사람이 기대하는 것보다 성장 속도가 약간 더 둔화된 것처럼 보이는 이유는, 모두가 컴퓨트와 서빙 용량 제약에 걸려 있기 때문”이라고 말했다.

/ 글 Marco Quiroz-Gutierrez & 편집 김다린 기자 quill@fortunekorea.co.kr

• ‘해방의 날’ 이후 최대치, 치솟는 ‘공포 지수’
• “실적 좋아도 욕먹는다” 버블의 인질이 된 엔비디아
• 병원에 스며든 AI, 살아남는 의사의 조건은
• 위고비∙젭바운드 인류 첫 ‘수면 연장 약’ 될까
• 버블 전문가가 본 AI 투자 전쟁의 민낯