AI 추론 칩 전쟁, 엔비디아 대항마들의 도전…승부처는 ‘토큰당 비용’이다

인공지능 반도체 시장의 경쟁 구도가 달라지고 있다. 지금까지 AI 칩 시장의 핵심이 대규모 언어모델을 학습시키는 ‘훈련용 GPU’였다면, 앞으로는 완성된 AI 모델을 실제 서비스에 활용하는 AI 추론 칩의 중요성이 빠르게 커질 가능성이 높다.

챗봇이 질문에 답하고, AI 에이전트가 문서를 분석하며, 이미지 생성 서비스가 결과물을 만드는 과정은 모두 추론에 해당한다. AI 서비스 사용자가 늘어날수록 추론 작업은 반복적으로 발생한다. 따라서 기업 입장에서는 단순히 가장 빠른 칩보다 전력 소비량, 응답 속도, 메모리 용량, 소프트웨어 호환성, 토큰당 비용을 함께 따져야 한다.

이러한 변화 속에서 엔비디아는 여전히 강력한 지배력을 보이고 있지만, AMD를 비롯해 구글, 아마존, 마이크로소프트 등 거대 기술기업들이 자체 AI 가속기를 앞세워 도전하고 있다. AI 추론 칩 전쟁은 이제 단순한 반도체 성능 경쟁을 넘어 클라우드와 소프트웨어, 데이터센터 운영비용을 포함한 종합 인프라 경쟁으로 확대되고 있다.

AI 추론 칩이란 무엇인가?

AI 연산은 크게 ‘훈련’과 ‘추론’으로 나눌 수 있다.

훈련은 대량의 데이터를 이용해 AI 모델이 패턴과 규칙을 학습하는 과정이다. 막대한 연산 능력과 메모리 대역폭이 필요하기 때문에 고성능 GPU가 주로 사용된다.

반면 추론은 학습이 끝난 AI 모델에 새로운 데이터를 입력하고 결과를 얻는 과정이다. 사용자가 생성형 AI에 질문을 입력하고 답변을 받는 것이 대표적인 사례다.

과거에는 훈련 성능이 AI 반도체 시장의 핵심 평가 기준이었다. 그러나 AI 서비스가 상용화되면서 상황이 달라졌다. 모델은 한 번 학습되더라도 실제 서비스에서는 수백만 번, 수십억 번 호출될 수 있다. 특히 복잡한 문제를 여러 단계로 나누어 처리하는 추론형 AI와 에이전틱 AI가 확산되면 한 번의 사용자 요청에도 여러 차례 모델 연산이 발생한다.

결국 AI 기업의 수익성을 결정하는 핵심 지표도 최고 연산 성능에서 한 개의 토큰을 얼마나 빠르고 저렴하게 생성할 수 있는가로 이동하고 있다.

엔비디아가 강한 진짜 이유는 GPU만이 아니다

AI 반도체 시장에서 엔비디아의 가장 큰 경쟁력은 단순히 GPU 성능이 높다는 데 있지 않다. GPU와 CPU, 고대역폭 메모리, 네트워크 장비, 서버 시스템, 개발 소프트웨어를 하나의 생태계로 제공한다는 점이 핵심이다.

특히 CUDA를 중심으로 구축된 소프트웨어 생태계는 엔비디아의 강력한 진입장벽으로 평가된다. AI 개발자와 기업은 오랜 기간 CUDA 기반으로 모델과 프로그램을 개발해 왔다. 다른 회사의 칩으로 교체하려면 소프트웨어 수정과 성능 최적화, 안정성 검증에 추가 비용이 들어갈 수 있다.

엔비디아는 차세대 ‘베라 루빈(Vera Rubin)’ 플랫폼을 통해 이러한 우위를 더욱 강화하고 있다. 회사 측은 루빈 플랫폼이 이전 세대인 블랙웰과 비교해 추론 토큰 생성 비용을 최대 10분의 1 수준으로 낮추는 것을 목표로 설계됐다고 설명한다. 루빈 GPU뿐 아니라 베라 CPU, NVLink 네트워크, DPU와 이더넷 스위치까지 통합한 랙 규모의 AI 시스템이라는 점도 특징이다.

즉 엔비디아는 개별 칩이 아니라 데이터센터 전체를 하나의 컴퓨터처럼 작동시키는 전략을 추진하고 있다. 후발 기업이 엔비디아를 따라잡기 어려운 이유도 하드웨어 성능 하나만 비교해서는 설명하기 어렵다.

AMD, 가장 현실적인 엔비디아 대항마

AMD는 범용 GPU 시장에서 엔비디아와 직접 경쟁할 수 있는 대표적인 기업이다. 특히 AMD 인스팅트(Instinct) 시리즈는 대규모 AI 훈련과 추론 시장을 동시에 겨냥하고 있다.

AMD MI350 시리즈는 288GB의 HBM3E 메모리와 초당 8TB 수준의 메모리 대역폭을 제공하며, 저정밀 AI 연산을 위한 다양한 데이터 형식을 지원한다. 대규모 언어모델은 모델의 파라미터와 중간 연산 데이터를 메모리에 저장해야 하므로 메모리 용량과 대역폭이 실제 추론 성능에 큰 영향을 미친다.

AMD가 강조하는 또 하나의 경쟁력은 개방형 소프트웨어 플랫폼인 ROCm이다. CUDA에 대한 의존도를 줄이고 싶은 클라우드 기업과 AI 개발사에 대안을 제공하겠다는 전략이다.

2026년에는 MI455X GPU와 차세대 EPYC CPU, 펜산도 네트워크, ROCm 소프트웨어를 통합한 ‘헬리오스(Helios)’ 랙 규모 플랫폼이 본격적인 승부수로 떠올랐다. AMD는 마이크로소프트와의 협력을 확대해 헬리오스 기반 시스템을 애저의 대규모 AI 훈련 및 추론 환경에 공급할 계획이라고 밝혔다.

메타 역시 AMD와 장기 협력을 확대했다. AMD 발표에 따르면 메타는 2026년 하반기부터 자사 작업에 최적화된 MI450 계열 GPU를 기반으로 첫 번째 대규모 배치를 시작할 예정이다. 이는 AMD가 단순한 ‘두 번째 선택지’를 넘어 대형 클라우드와 AI 기업의 공급망 다변화 수단으로 자리 잡고 있음을 보여준다.

다만 AMD의 과제도 분명하다. 하드웨어 성능이 높더라도 개발 도구, 라이브러리, 기술 지원과 실제 서비스 환경의 안정성까지 엔비디아 수준으로 끌어올려야 한다. 결국 AMD의 성패는 ROCm 생태계가 얼마나 빠르게 확장되는지에 달려 있다.

구글 TPU, 자체 AI 서비스에서 증명된 맞춤형 반도체

구글은 엔비디아의 GPU와 다른 방식으로 AI 반도체 경쟁에 참여하고 있다. 구글의 TPU는 범용 그래픽 처리보다 머신러닝 연산에 초점을 맞춘 주문형 반도체, 즉 ASIC에 가깝다.

2026년 기준 구글 클라우드는 7세대 TPU 계열인 ‘아이언우드(Ironwood)’를 대규모 AI 훈련과 추론용으로 제공하고 있다. 구글은 아이언우드를 대규모 언어모델, 혼합전문가 모델, 확산 모델과 같은 고부하 작업에 대응하도록 설계했다.

구글 TPU의 강점은 하드웨어와 소프트웨어, 클라우드 서비스를 함께 설계할 수 있다는 점이다. 구글은 자사 AI 모델과 데이터센터의 실제 작업 특성을 분석해 필요한 기능을 칩에 직접 반영할 수 있다.

아이언우드는 이전 세대인 트릴리움보다 전력당 성능이 개선됐으며, 구글의 AI 모델을 훈련하고 낮은 지연시간으로 서비스하는 데 활용된다.

그러나 TPU는 구글 클라우드 중심의 생태계라는 한계도 있다. 다양한 클라우드와 온프레미스 환경에서 동일한 시스템을 구축하려는 기업에는 엔비디아나 AMD의 범용 GPU가 더 편리할 수 있다.

따라서 구글의 전략은 모든 GPU를 대체하기보다 자사 클라우드 안에서 특정 AI 작업을 더 저렴하고 효율적으로 처리하는 방향에 가깝다.

아마존 Trainium과 Inferentia, 클라우드 비용을 낮추려는 전략

아마존웹서비스는 AI 반도체 경쟁에서 비용 효율성을 가장 적극적으로 강조하는 기업 중 하나다.

AWS는 AI 모델 훈련용 Trainium과 추론용 Inferentia를 자체 개발해 왔다. 여기에 3나노미터 공정 기반의 Trainium3를 적용한 Trn3 UltraServers를 출시하며 훈련과 추론, 에이전틱 AI까지 대응 범위를 확대했다.

AWS는 Trainium3를 차세대 에이전트, 추론형 AI, 영상 생성 작업의 ‘토큰 경제성’을 높이기 위한 칩으로 소개하고 있다. Trainium과 Inferentia는 AWS Neuron SDK를 통해 프로그래밍되며, 모델 이식과 추론 최적화를 위한 라이브러리와 개발 도구를 제공한다.

아마존이 자체 칩을 개발하는 목적은 명확하다. AWS 고객이 엔비디아 GPU만 사용하지 않도록 선택지를 늘리고, AI 서비스 운영 비용을 낮추며, 동시에 클라우드 인프라의 수익성을 높이려는 것이다.

다만 AWS 자체 칩은 AWS 안에서 사용할 때 가장 큰 효과를 얻을 수 있다. 특정 클라우드에 대한 종속성을 원하지 않는 기업에는 제약으로 작용할 수 있다.

마이크로소프트 Maia 200, 추론 비용 절감에 집중

마이크로소프트도 자체 AI 추론 가속기인 ‘Maia 200’을 공개하며 경쟁에 합류했다.

Maia 200은 대규모 AI 토큰 생성을 효율적으로 처리하기 위해 설계된 칩이다. 마이크로소프트는 이를 애저 AI 인프라와 Microsoft 365 Copilot 등에 활용할 계획이라고 설명했다.

마이크로소프트의 핵심 전략은 자체 칩만 고집하는 것이 아니다. 엔비디아 GPU와 AMD 인스팅트, 자체 Maia 가속기를 함께 사용하는 이기종 AI 인프라를 구축하고 작업 특성에 따라 적절한 반도체를 배치하는 방식이다.

이러한 구조에서는 최고 성능의 칩 하나가 모든 작업을 처리하지 않는다. 긴 문맥 처리가 필요한 모델, 실시간 응답이 중요한 서비스, 내부 업무용 AI, 대규모 배치 처리 등에 따라 서로 다른 칩이 선택될 수 있다.

추론 칩 경쟁의 핵심은 전력과 메모리다

AI 추론 칩을 평가할 때 단순한 연산 성능 수치만 보면 실제 경쟁력을 잘못 판단할 수 있다.

첫 번째 핵심은 메모리다. 대형 AI 모델은 막대한 양의 가중치를 메모리에 올려야 한다. 칩의 계산 능력이 높아도 메모리 용량이 부족하면 여러 장의 가속기가 필요하고, 칩 사이에서 데이터를 이동하는 과정에서 병목 현상이 발생한다.

두 번째는 전력 효율이다. 대규모 데이터센터에서는 반도체 구매 비용뿐 아니라 전력 공급과 냉각 비용이 중요하다. 동일한 답변을 생성할 때 소비되는 전력이 적을수록 장기적인 운영비가 낮아진다.

세 번째는 지연시간과 처리량이다. 사용자는 빠른 응답을 원하지만, 서비스 제공자는 동시에 많은 요청을 처리해야 한다. 따라서 한 명의 사용자에게 빠르게 답하는 성능과 여러 사용자의 요청을 동시에 처리하는 성능을 모두 고려해야 한다.

실제 다양한 AI 가속기를 비교한 연구에서도 최적의 하드웨어는 모델 크기와 입력 길이, 배치 크기 등에 따라 달라지는 것으로 나타났다. 특정 칩이 모든 조건에서 가장 우수한 것이 아니라 작업 특성과 가동률, 소프트웨어 완성도가 실제 효율을 좌우한다는 의미다.

엔비디아의 독주는 끝날까?

엔비디아가 단기간에 AI 반도체 시장의 주도권을 잃을 가능성은 높지 않다. CUDA 생태계와 네트워크 기술, 서버 공급망, 개발자 기반은 후발 기업이 짧은 시간 안에 복제하기 어려운 자산이다.

그러나 엔비디아의 점유율이 유지된다고 해서 경쟁사의 기회가 없는 것은 아니다.

AI 시장 자체가 빠르게 성장하고 있기 때문에 AMD는 범용 GPU의 두 번째 공급자로 성장할 수 있다. 구글과 AWS, 마이크로소프트는 자사 클라우드에서 반복적으로 발생하는 AI 작업을 자체 칩으로 이전할 수 있다. 특정 모델과 작업에 최적화된 ASIC 기업도 초저지연이나 높은 전력 효율을 앞세워 틈새시장을 확보할 수 있다.

글로벌 클라우드 기업들은 엔비디아와 AMD의 GPU를 계속 구매하면서도 자체 ASIC 투자를 동시에 늘리고 있다. 시장조사업체 트렌드포스는 주요 클라우드 기업들이 AI 인프라 비용과 작업별 효율을 개선하기 위해 맞춤형 반도체 투자를 확대하고 있다고 분석했다.

따라서 향후 AI 반도체 시장은 한 회사가 모든 영역을 장악하는 구조보다 여러 종류의 칩이 용도에 따라 공존하는 방향으로 발전할 가능성이 크다.

AI 추론 칩 전쟁이 투자자에게 중요한 이유

AI 추론 칩 경쟁은 반도체 기업의 매출만 바꾸는 문제가 아니다. 고대역폭 메모리, 첨단 패키징, 파운드리, 네트워크 장비, 전력 인프라, 냉각 시스템과 같은 연관 산업에도 영향을 준다.

투자자가 살펴봐야 할 지표는 단순한 신제품 발표가 아니다.

실제 대형 고객이 해당 칩을 도입하는지, 소프트웨어 생태계가 확대되는지, 공급 일정이 지켜지는지, 추론 비용이 실질적으로 낮아지는지 확인해야 한다. 기업이 발표한 최대 성능은 특정 환경에서 측정된 이론적 수치일 수 있기 때문에 독립적인 실사용 성능과 고객 사례도 함께 살펴볼 필요가 있다.

또한 클라우드 기업의 자체 칩 확대는 양면성을 가진다. 자체 칩이 성공하면 엔비디아 의존도와 비용을 낮출 수 있지만, 개발비와 생산비 부담이 커지고 범용성이 떨어질 위험도 있다.

결론: AI 칩의 승자는 ‘가장 빠른 회사’가 아닐 수 있다

AI 추론 칩 전쟁의 승자는 단순히 가장 높은 연산 성능을 기록한 기업이 아닐 가능성이 크다.

실제 시장에서는 칩 가격과 전력 소비량, 메모리 용량, 네트워크 성능, 소프트웨어 호환성, 공급 안정성, 개발 편의성이 종합적으로 평가된다. 아무리 빠른 칩이라도 기존 모델을 이전하기 어렵거나 안정적으로 공급되지 않는다면 기업 고객에게 선택받기 어렵다.

엔비디아는 통합 생태계와 차세대 루빈 플랫폼을 통해 우위를 지키려 하고 있다. AMD는 개방형 GPU와 헬리오스 플랫폼으로 정면 도전에 나섰다. 구글, 아마존, 마이크로소프트는 자체 클라우드에 최적화된 맞춤형 AI 가속기를 확대하고 있다.

결국 2026년 이후 AI 반도체 경쟁의 핵심 질문은 “어떤 칩이 가장 빠른가”가 아니다.

동일한 품질의 AI 답변을 누가 더 적은 전력과 낮은 비용으로, 더 안정적으로 제공할 수 있는가가 진짜 승부처다.


자주 묻는 질문

AI 추론 칩과 GPU는 같은 것인가?

완전히 같은 개념은 아니다. GPU는 그래픽과 병렬 연산을 폭넓게 처리하는 범용 반도체이며, AI 훈련과 추론에 모두 사용할 수 있다. AI 추론 칩은 추론 작업을 효율적으로 처리하도록 설계된 GPU, ASIC, NPU 등의 가속기를 포괄하는 개념이다.

엔비디아의 가장 강력한 경쟁자는 어디인가?

범용 데이터센터 GPU 시장에서는 AMD가 가장 직접적인 경쟁자로 평가된다. 클라우드 내부의 맞춤형 반도체 시장에서는 구글 TPU, AWS Trainium·Inferentia, 마이크로소프트 Maia가 주요 대안으로 떠오르고 있다.

클라우드 기업들이 자체 AI 칩을 만드는 이유는 무엇인가?

엔비디아 의존도를 낮추고, 자사 서비스에 맞는 성능을 확보하며, AI 추론에 들어가는 전력과 토큰 생성 비용을 줄이기 위해서다.

AI 추론 칩 시장에서 중요한 성능 지표는 무엇인가?

토큰 생성 속도, 응답 지연시간, 동시 처리량, 메모리 용량과 대역폭, 소비전력, 토큰당 비용, 소프트웨어 호환성 등을 함께 살펴봐야 한다.

엔비디아의 시장 지배력이 곧 끝날 가능성이 있는가?

단기간에 급격히 약화될 가능성은 제한적이다. 다만 클라우드 기업의 자체 칩과 AMD GPU의 비중이 확대되면 엔비디아가 모든 AI 작업을 독점하기는 점차 어려워질 수 있다.

※ 이 글은 산업 정보 제공을 목적으로 작성됐으며 특정 기업의 주식 매수 또는 매도를 권유하지 않습니다.

댓글 남기기