자체 AI 칩 경쟁: OpenAI·Meta·AWS는 왜 GPU 의존도를 낮추려 하나

AI 기업들이 자체 AI 칩을 만드는 이유는 더 빠른 AI를 만들기 위해서가 아니라, 더 지속 가능하고 통제 가능한 AI 서비스를 운영하기 위해서다.

왜 지금 자체 AI 칩인가

생성형 AI 경쟁의 첫 국면은 모델 성능 경쟁이었다. 누가 더 큰 모델을 학습시키고, 누가 더 긴 문맥을 처리하며, 누가 더 자연스러운 답변을 내놓는지가 시장의 관심을 끌었다. 그러나 서비스가 실제 대규모 사용량을 만나자 경쟁의 중심은 바뀌기 시작했다. 이제 중요한 질문은 “가장 뛰어난 모델을 만들 수 있는가”에서 “그 모델을 매일 수억 번, 합리적인 비용과 지연시간으로 제공할 수 있는가”로 확장되고 있다.

이 전환의 배경에는 GPU 의존 구조가 있다. 프런티어 모델 학습과 추론에는 여전히 Nvidia GPU 생태계가 강력하다. CUDA, 고성능 네트워킹, 라이브러리, 모델 최적화 도구, 개발자 경험이 결합된 결과다. 따라서 자체 AI 칩은 단기간에 GPU를 몰아내는 대체재라기보다, 특정 워크로드에서 비용과 전력 효율을 개선하고 공급망 의존도를 낮추는 보완적 선택지에 가깝다. OpenAI가 Broadcom과 함께 Jalapeño를 공개하면서도 이를 LLM 추론에 맞춘 가속기로 설명한 점, Google과 AWS가 TPU·Trainium·Inferentia를 클라우드 상품과 묶어 제공하는 점은 모두 같은 방향을 가리킨다. 출처: OpenAI and Broadcom unveil LLM-optimized inference chip, Tensor Processing Units (TPUs) – Google Cloud, AI Accelerator – AWS Trainium

실무자가 봐야 할 핵심은 반도체 스펙이 아니라 비용 구조다. AI 서비스 비용은 단순히 칩 가격으로 끝나지 않는다. 데이터센터 전력, 냉각, 네트워크, 메모리 대역폭, 모델 서빙 효율, 배치 처리, 지연시간 목표, 피크 트래픽 대응, 장애 시 우회 경로까지 모두 포함한다. 대규모 서비스 사업자에게 자체 칩은 “더 빠른 연산 장치”가 아니라 “서비스 단가를 예측 가능하게 만드는 인프라 자산”이다.

GPU 의존이 만든 다섯 가지 압력

1. 추론 비용 압력

AI 서비스의 경제성은 학습보다 추론에서 더 자주 드러난다. 학습은 거대한 선투자이지만, 추론은 사용자가 질문할 때마다 발생하는 반복 비용이다. ChatGPT, Claude, Gemini, Copilot 같은 서비스는 사용량이 늘수록 토큰 생성 비용, 메모리 접근, 네트워크 통신, 전력 비용이 누적된다. 사용자가 늘어도 단가가 충분히 낮아지지 않으면 서비스 확장은 매출 증가가 아니라 비용 증가로 이어질 수 있다.

OpenAI가 Jalapeño를 LLM 추론용 프로세서로 공개한 것도 이 맥락에서 해석해야 한다. 공식 발표는 Jalapeño를 OpenAI의 첫 Intelligence Processor이자 LLM 추론을 위해 설계된 가속기로 설명한다. 즉 핵심은 범용 학습 GPU를 대체하는 것이 아니라, OpenAI 모델의 실제 서빙 패턴에 맞춰 추론 효율을 높이는 데 있다. 출처: OpenAI and Broadcom unveil LLM-optimized inference chip

2. 전력 효율 압력

데이터센터 AI 인프라에서 전력은 단순 운영비가 아니다. 전력 공급 계약, 냉각 설비, 랙 밀도, 지역별 데이터센터 확장 가능성까지 좌우한다. 칩이 같은 답변을 더 낮은 전력으로 생성할 수 있다면, 이는 단순 비용 절감을 넘어 서비스 확장 가능성을 높인다. 특히 추론 워크로드는 24시간 계속 발생하므로 와트당 성능이 사업성에 직접 연결된다.

Google Cloud가 TPU를 Gemini와 검색, Photos, Maps 등 대규모 AI 애플리케이션을 지원하는 인프라로 설명하고, AWS가 Trainium을 고성능 AI 학습·추론의 경제성을 위한 칩으로 설명하는 이유도 여기에 있다. 칩은 더 이상 서버 부품이 아니라 클라우드 사업자의 원가 구조를 바꾸는 제품 전략이다. 출처: Tensor Processing Units (TPUs) – Google Cloud, AI Accelerator – AWS Trainium

3. 공급망 안정성 압력

GPU 수급은 AI 기업의 제품 출시 속도와 서비스 안정성에 영향을 준다. 원하는 시점에 원하는 수량의 가속기를 확보하지 못하면 모델 학습 일정, 신규 기능 출시, 고객 온보딩, 지역 확장 계획이 지연될 수 있다. 자체 칩은 이 문제를 완전히 해결하지는 못한다. 파운드리, 고대역폭 메모리, 패키징, 기판, 네트워크 장비라는 또 다른 공급망에 의존하기 때문이다.

그럼에도 자체 칩은 협상력을 높인다. Nvidia GPU를 계속 쓰더라도 일부 추론이나 내부 추천 워크로드를 자체 칩으로 이전할 수 있다면, 기업은 특정 공급자에 대한 의존도를 낮추고 장기 용량 계획을 더 유연하게 세울 수 있다. Meta가 MTIA를 자체 AI 인프라 전략의 일부로 유지하면서도 다양한 실리콘 포트폴리오를 병행한다고 설명한 점은 이 균형을 잘 보여준다. 출처: Four MTIA Chips in Two Years: Scaling AI Experiences for Billions

4. 워크로드 최적화 압력

GPU는 강력한 범용 가속기지만 모든 워크로드에서 항상 최적은 아니다. 추천 모델, 광고 랭킹, 피드 개인화, LLM 추론, 이미지 생성, 음성 합성, 검색 랭킹은 계산 패턴과 지연시간 요구가 다르다. 기업이 충분히 큰 반복 워크로드를 갖고 있다면, 범용 GPU를 빌려 쓰는 것보다 자사 워크로드에 맞춘 칩과 서빙 소프트웨어를 함께 설계하는 편이 장기적으로 유리할 수 있다.

Meta MTIA가 대표적이다. Meta는 MTIA를 자사 AI 워크로드를 효율적으로 처리하기 위한 맞춤형 칩 계열로 설명하며, 랭킹과 추천, 광고 모델, 생성형 AI 워크로드 지원을 강조한다. 이는 Meta가 범용 모델 기업이라서가 아니라, Facebook, Instagram, WhatsApp, Threads 같은 거대한 서비스에서 반복적으로 발생하는 내부 AI 워크로드를 갖고 있기 때문에 가능한 전략이다. 출처: Our next generation Meta Training and Inference Accelerator, Expanding Meta’s Custom Silicon to Power Our AI Workloads

5. 인프라 통제 압력

프런티어 AI 기업은 모델만 잘 만들어서는 충분하지 않다. 모델을 운영하는 클라우드, 칩, 네트워크, 저장장치, 배포 소프트웨어, 모니터링 체계를 얼마나 통제하느냐가 서비스 품질과 비용을 결정한다. 자체 칩은 이 수직 통합의 한 축이다. 특히 OpenAI처럼 API와 소비자 서비스를 동시에 운영하는 기업은 모델 개선이 곧바로 추론 비용 증가로 이어질 수 있기 때문에, 하드웨어와 소프트웨어를 함께 최적화하려는 유인이 크다.

다만 통제력은 비용 없이 오지 않는다. 칩 개발에는 설계 인력, 검증, 소프트웨어 도구, 컴파일러, 커널 최적화, 제조 파트너, 장기 로드맵이 필요하다. 한 세대 칩이 성공해도 다음 세대가 뒤따르지 않으면 생태계가 만들어지지 않는다. 그래서 자체 칩 경쟁의 승패는 단일 칩의 스펙보다 반복 가능한 플랫폼을 만들 수 있느냐에 달려 있다.

기업별 자체 AI 칩 전략 비교

이 표에서 가장 중요한 구분은 “칩을 만들고 있다”가 아니라 “왜 만들고 있는가”다. OpenAI와 Anthropic은 모델 기업이다. 이들에게 칩은 모델을 더 싸고 안정적으로 서비스하기 위한 수단이다. Meta는 플랫폼 기업이다. 이들에게 칩은 내부 서비스의 반복 워크로드를 낮은 단가로 처리하기 위한 수단이다. Google, AWS, Microsoft는 클라우드 사업자다. 이들에게 칩은 자체 서비스뿐 아니라 고객에게 판매할 인프라 상품이며, 클라우드 생태계의 차별화 도구다.

OpenAI: Jalapeño는 학습보다 추론 비용의 문제다

OpenAI의 Jalapeño는 공식적으로 공개된 사례라는 점에서 중요하다. OpenAI와 Broadcom은 Jalapeño를 LLM 추론을 위해 설계한 맞춤형 AI 칩으로 소개했다. OpenAI 발표에 따르면 Jalapeño는 OpenAI의 다세대 컴퓨트 플랫폼의 첫 가속기이며, LLM 추론의 커널, 메모리 이동, 네트워킹, 서빙 패턴을 고려해 설계됐다. 출처: OpenAI and Broadcom unveil LLM-optimized inference chip

여기서 실무자가 놓치지 말아야 할 점은 “추론 특화”라는 표현이다. 대형 모델 학습은 여전히 막대한 병렬 연산과 성숙한 소프트웨어 생태계를 요구한다. 반면 추론은 사용자 요청을 빠르고 안정적으로 처리하는 문제다. 대화형 AI에서는 토큰을 순차적으로 생성하고, 문맥을 유지하며, 지연시간을 관리하고, 피크 트래픽에서도 서비스를 유지해야 한다. 이때 모델 내부 구조와 실제 요청 패턴을 가장 잘 아는 기업이 하드웨어 설계에 참여하면 최적화 여지가 생긴다.

다만 Jalapeño를 두고 “OpenAI가 Nvidia를 대체한다”고 해석하는 것은 과하다. 공식 발표의 초점은 LLM 추론 효율과 확장성이다. 학습용 GPU 수요가 곧 사라진다는 뜻도 아니고, OpenAI가 모든 워크로드를 자체 칩으로 이전한다는 의미도 아니다. 더 정확한 해석은 OpenAI가 가장 비용 민감한 추론 영역부터 자체 인프라 통제력을 확보하려는 움직임이다. 제공된 외신 요약에서도 Broadcom 협력, 추론 비용 절감, Nvidia 의존도 완화가 핵심으로 제시된다. 자세한 OpenAI 자체 칩 개발 배경은 기존 글을 참고하시기 바랍니다. 출처: 오픈AI, 브로드컴과 손잡고 첫 자체 AI 칩 ‘할라피뇨’ 개발, OpenAI unveils its first custom chip, built by Broadcom

Anthropic: 삼성 협력 보도는 확정 전략이 아니라 신호다

Anthropic은 더 조심스럽게 다뤄야 한다. The Information 보도와 이를 인용한 TechCrunch, The Decoder 등의 보도에 따르면 Anthropic은 Samsung Electronics와 맞춤형 AI 칩 제조 협력을 논의 중인 것으로 알려졌다. 그러나 보도 기준으로도 프로젝트는 초기 단계이며, 칩의 용도, 성능, 서버 구성, 최종 설계가 확정됐다고 보기 어렵다. Anthropic이 공식 상용 칩을 발표한 상황도 아니다. 출처: Anthropic is discussing a new custom chip with Samsung, 앤트로픽, 삼성전자와 AI 맞춤형 칩 개발 논의

그럼에도 이 보도가 의미 있는 이유는 Anthropic의 사업 구조 때문이다. Claude는 기업용 API, 소비자 서비스, 클라우드 파트너십을 통해 사용량이 늘고 있다. 프런티어 모델 기업은 모델 성능을 높일수록 추론 비용과 컴퓨트 수요도 함께 커진다. AWS와 Google 같은 클라우드 파트너의 칩과 인프라를 활용하더라도, 장기적으로는 자사 모델 특성에 맞춘 하드웨어 선택지를 검토할 유인이 있다.

따라서 Anthropic 사례는 “곧 자체 칩을 상용화한다”가 아니라 “프런티어 모델 기업도 파운드리와 맞춤형 칩 전략을 검토할 만큼 인프라 비용 문제가 중요해졌다”는 신호로 읽어야 한다. 특히 Anthropic이 Nvidia의 중요성을 여전히 인정하고 있다는 보도 맥락까지 함께 보면, 이 움직임은 대체가 아니라 선택지 확대에 가깝다.

Meta: MTIA는 플랫폼 기업의 내부 워크로드 최적화 전략이다

Meta의 MTIA는 OpenAI나 Anthropic과 다른 유형의 자체 칩 전략이다. Meta는 외부 고객에게 AI 모델 API를 판매하는 기업이라기보다, 거대한 소셜·광고·메신저 플랫폼을 운영하는 기업이다. Facebook 피드, Instagram 추천, 광고 랭킹, 콘텐츠 안전성, 생성형 AI 기능, Llama 기반 서비스까지 Meta 내부에는 반복적이고 규모가 큰 AI 워크로드가 존재한다.

Meta는 MTIA를 자사 AI 워크로드를 효율적으로 처리하기 위한 맞춤형 실리콘 계열로 설명한다. 2026년 발표에서는 2년 동안 네 세대의 MTIA 칩을 확장하고 있으며, 수십억 명이 사용하는 AI 경험을 비용 효율적으로 지원하는 것이 MTIA의 역할이라고 밝혔다. 또 MTIA가 Broadcom과의 긴밀한 협력 속에서 개발된 자사 AI 인프라 전략의 일부라고 설명했다. 출처: Four MTIA Chips in Two Years: Scaling AI Experiences for Billions, Expanding Meta’s Custom Silicon to Power Our AI Workloads

Meta 전략의 본질은 총소유비용이다. 추천·광고 모델은 개별 요청당 수익과 비용이 촘촘하게 연결된다. 광고 랭킹 모델의 지연시간이 늘면 사용자 경험과 매출에 영향을 줄 수 있고, 추천 모델의 비용이 커지면 피드 개인화의 경제성이 흔들릴 수 있다. 따라서 Meta는 모든 것을 최고 성능 GPU로 처리하기보다, 예측 가능한 내부 워크로드를 자체 칩과 소프트웨어로 최적화하려 한다.

이 접근은 실무자에게 중요한 시사점을 준다. 자체 칩은 거대한 모델을 가진 기업만의 전략이 아니다. 충분히 큰 반복 워크로드, 명확한 지연시간 목표, 높은 인프라 비용, 내부 소프트웨어 통제력이 있으면 플랫폼 기업도 자체 칩의 경제성을 검토할 수 있다. 물론 대부분 기업이 직접 칩을 만들 필요는 없다. 그러나 워크로드별로 GPU, TPU, Trainium, Inferentia, MTIA 같은 선택지를 나눠 보는 사고방식은 클라우드 아키텍처 의사결정에도 필요하다.

Google: TPU는 자체 AI 칩 전략의 기준점이다

Google TPU는 가장 성숙한 자체 AI 칩 사례다. Google Cloud는 TPU를 AI 워크로드를 위해 설계된 맞춤형 가속기로 설명하고, Gemini와 Google의 AI 기반 애플리케이션, Google Cloud 고객 워크로드를 지원한다고 밝힌다. TPU는 Compute Engine, Google Kubernetes Engine, Vertex AI를 통해 사용할 수 있으며, PyTorch와 JAX 같은 프레임워크를 지원한다. 출처: Tensor Processing Units (TPUs) – Google Cloud, TPU architecture – Google Cloud Documentation

Google 사례가 중요한 이유는 수직 통합의 완성도다. Google은 검색, YouTube, 광고, Workspace, Android, Cloud, Gemini 모델, 데이터센터 운영, TPU 설계 역량을 모두 갖고 있다. 자체 칩이 단일 제품이 아니라 전체 서비스 체인에 들어간다. Gemini 학습과 추론, 검색 랭킹, 추천, 미디어 생성, 클라우드 고객 워크로드가 하나의 인프라 전략 아래 묶일 수 있다.

또 Google은 TPU를 내부용으로만 쓰지 않는다. Google Cloud 상품으로 제공하면서 외부 고객에게도 자체 칩 생태계를 개방한다. 이는 AWS Trainium·Inferentia, Microsoft Maia와 유사한 클라우드 전략이지만, TPU는 더 긴 운영 이력과 성숙한 개발 생태계를 갖고 있다는 점에서 비교의 기준점이 된다. 최근 Google은 에이전트형 AI 시대를 겨냥한 8세대 TPU 8t·8i도 발표했는데, 공식 블로그는 8t를 학습, 8i를 저지연 추론에 특화된 칩으로 설명한다. 출처: Our eighth generation TPUs: two chips for the agentic era

AWS: Trainium과 Inferentia는 클라우드 가격 경쟁력의 도구다

AWS의 Trainium과 Inferentia는 AI 모델 기업의 자체 칩과 성격이 다르다. AWS는 칩을 만들어 자사 AI 서비스를 돌리는 데 그치지 않고, 고객이 사용할 수 있는 클라우드 인스턴스로 제공한다. Trainium은 학습과 대규모 AI 처리의 경제성, Inferentia는 추론 워크로드 최적화에 초점을 둔다. AWS는 Trainium을 고성능 AI 학습과 추론의 경제성을 위해 설계한 칩으로 설명하고, Inferentia를 대규모 모델 배포에 최적화된 추론 칩으로 설명한다. 출처: AI Accelerator – AWS Trainium, AI Chip – Amazon Inferentia – AWS

AWS 전략의 핵심은 클라우드 고객 락인이다. 고객이 Trainium이나 Inferentia 기반 인스턴스에 모델을 최적화하면, AWS Neuron 소프트웨어 스택, 인스턴스 유형, 배포 파이프라인, 비용 모델과 함께 묶인다. 이는 고객에게 낮은 비용과 확장성을 제공하는 동시에 AWS에는 차별화된 클라우드 상품을 제공한다.

Anthropic과 AWS의 관계도 이 관점에서 중요하다. Amazon은 Anthropic과의 파트너십에서 Trainium과 Inferentia 같은 자체 AI 칩을 강조해 왔다. 이는 클라우드 사업자가 프런티어 모델 기업을 자사 칩 생태계의 앵커 고객으로 확보하려는 전략으로 볼 수 있다. 단, 모든 워크로드가 AWS 자체 칩으로 이동한다는 의미는 아니다. 고객은 여전히 Nvidia GPU, 자체 칩, 다른 클라우드 가속기를 혼합해 사용할 가능성이 높다. 출처: AWS AI chips powering Amazon’s partnership with Anthropic

Microsoft: Maia는 Azure와 OpenAI 생태계를 잇는 인프라 전략이다

Microsoft Maia는 Azure AI 인프라를 이해하는 데 중요하다. Microsoft는 Maia 100을 Azure AI 인프라에 최적화된 첫 자체 AI 가속기로 발표했고, 하드웨어와 소프트웨어를 함께 설계하는 접근을 강조했다. Microsoft 자료는 Maia 100이 클라우드 기반 AI 워크로드를 실행하도록 설계됐고 Azure AI 인프라에 최적화됐다고 설명한다. 출처: Azure Maia for the era of AI: From silicon to software to systems

Microsoft의 차별점은 OpenAI와의 전략적 결합이다. Microsoft는 자체 모델 기업이라기보다 Azure, Copilot, 엔터프라이즈 소프트웨어, OpenAI 파트너십을 결합하는 플랫폼 사업자에 가깝다. Maia는 이 구조에서 Azure AI 워크로드의 비용과 성능을 개선하고, OpenAI 계열 생산 워크로드를 포함한 대규모 AI 서비스를 더 통제 가능한 인프라 위에 올리려는 시도로 볼 수 있다.

2026년 Microsoft는 Maia 200을 추론 가속기로 소개하며 AI 토큰 생성의 경제성을 개선하는 방향을 강조했다. 이는 Microsoft 역시 학습만이 아니라 대규모 추론 비용을 핵심 문제로 보고 있음을 보여준다. 다만 Maia 역시 GPU 생태계를 대체한다기보다 Azure 안에서 특정 워크로드에 최적화된 선택지를 넓히는 전략으로 해석하는 편이 정확하다. 출처: Maia 200: The AI accelerator built for inference

같은 자체 칩, 다른 목적: 세 가지 사업자 유형

프런티어 모델 기업: 추론 단가와 공급망 통제

OpenAI와 Anthropic 같은 기업은 모델 성능이 곧 제품 경쟁력이다. 그러나 모델이 커지고 사용량이 늘수록 비용 구조가 서비스 전략의 제약이 된다. 무료 사용자, 유료 구독자, API 고객, 엔터프라이즈 고객을 모두 지원하려면 추론 단가를 낮추고 용량을 안정적으로 확보해야 한다.

이들에게 자체 칩은 매출 총이익률의 문제다. 같은 모델을 더 낮은 비용으로 서빙할 수 있으면 가격 정책, 무료 사용량, 기업 계약, 신규 기능 출시에서 선택지가 늘어난다. OpenAI Jalapeño와 Anthropic의 보도 단계 협력 논의는 모두 이 방향을 시사한다. 단, Anthropic은 아직 공식 칩 발표가 아니므로 OpenAI와 같은 단계로 놓으면 안 된다.

클라우드 사업자: 가격 경쟁력과 생태계 락인

Google, AWS, Microsoft에게 자체 칩은 클라우드 상품이다. 이들은 자사 모델뿐 아니라 고객의 AI 워크로드를 유치해야 한다. GPU 공급이 제한적이거나 가격이 높을 때 자체 칩은 대안 인스턴스가 된다. 고객이 특정 칩에 맞춰 모델을 최적화하면 클라우드 소프트웨어 스택과 더 깊게 결합된다.

클라우드 사업자의 승부처는 칩 자체가 아니라 개발자 경험이다. 프레임워크 호환성, 모델 포팅 난이도, 컴파일러 안정성, 관측성, 분산 학습·추론 도구, 비용 예측 가능성이 함께 따라와야 한다. TPU가 JAX·PyTorch, Vertex AI, Google Kubernetes Engine과 연결되고, AWS가 Neuron 생태계를 강조하며, Microsoft가 Azure AI 인프라와 Maia를 함께 설명하는 이유가 여기에 있다. 출처: TPU architecture – Google Cloud Documentation, Get started quickly with AWS Trainium and AWS Inferentia using AWS Neuron DLAMI and AWS Neuron DLC, Azure Maia for the era of AI: From silicon to software to systems

플랫폼 기업: 내부 워크로드의 총소유비용 최적화

Meta는 세 번째 유형이다. 외부 클라우드 상품으로 자체 칩을 판매하는 것이 핵심이 아니라, 내부 플랫폼의 반복 워크로드를 최적화하는 것이 핵심이다. 추천, 광고, 피드 랭킹은 Meta 사업의 심장부에 있다. 이 워크로드가 충분히 크고 반복적이면, 자체 칩의 개발 비용을 장기 운영비 절감으로 회수할 여지가 생긴다.

이 유형의 전략은 일반 기업에도 간접적인 교훈을 준다. 대부분 기업은 직접 칩을 만들지 않지만, 자사 AI 워크로드를 학습, 배치 추론, 실시간 추론, 검색·추천, 멀티모달 처리로 나눠 비용과 지연시간을 분석해야 한다. 모든 것을 하나의 고가 GPU 인스턴스로 처리하는 방식은 초기 실험에는 빠르지만, 운영 규모가 커질수록 비효율이 커질 수 있다.

실무자가 봐야 할 판단 기준

첫째, 상용화 단계와 보도 단계를 분리해야 한다. Google TPU와 AWS Trainium·Inferentia는 클라우드에서 실제 고객이 사용할 수 있는 상품이다. Meta MTIA는 내부 인프라 운영 확대 사례다. Microsoft Maia는 Azure AI 인프라에 도입되는 자체 가속기 전략이다. OpenAI Jalapeño는 공식 공개·테스트 단계의 추론 특화 칩이다. Anthropic과 Samsung 협력은 보도 단계다. 이들을 같은 선상에서 “자체 칩 경쟁”으로 묶되, 성숙도는 반드시 구분해야 한다.

둘째, 자체 칩은 비용 절감만의 문제가 아니다. 비용, 전력, 공급망, 서비스 품질, 지연시간, 클라우드 협상력, 제품 로드맵 통제가 함께 걸려 있다. 특히 추론 비용은 AI 서비스의 가격 정책과 직접 연결된다. 기업이 더 저렴한 유료 요금제, 더 넓은 무료 사용량, 더 많은 API 호출량을 제공하려면 인프라 단가가 내려가야 한다.

셋째, GPU는 사라지지 않는다. 범용 GPU는 학습, 실험, 다양한 모델 개발, 생태계 지원 측면에서 여전히 강력하다. 자체 AI 칩은 특정 회사의 특정 워크로드에서 더 나은 경제성을 만들기 위한 선택지다. 따라서 앞으로의 현실적인 구조는 “GPU 대 자체 칩”이 아니라 “워크로드별 혼합”에 가깝다.

넷째, 소프트웨어 스택이 성패를 가른다. 칩이 좋아도 모델을 쉽게 올리지 못하고, 디버깅이 어렵고, 프레임워크 지원이 부족하고, 커널 최적화가 제한되면 실무 채택은 느려진다. AI 인프라 경쟁은 반도체 설계 경쟁이면서 동시에 컴파일러, 런타임, 모델 최적화, 오케스트레이션 경쟁이다. 리벨리온이 추론 최적화 기업 스퀴즈비츠를 인수해 NPU 하드웨어와 소프트웨어 최적화, 서빙을 통합하려는 흐름도 이 점을 시사한다. 출처: 리벨리온, AI 추론 최적화 기업 스퀴즈비츠 인수…풀스택 AI 인프라 강화

앞으로의 전망: GPU 이후가 아니라 혼합 인프라의 시대

자체 AI 칩 개발은 앞으로 더 늘어날 가능성이 높다. 그러나 이 말은 모든 AI 기업이 칩 회사가 된다는 뜻이 아니다. 칩 개발은 막대한 자본, 장기 로드맵, 소프트웨어 역량, 제조 파트너십이 필요한 사업이다. 실제로 자체 칩이 경제성을 가지려면 충분히 큰 워크로드, 반복적인 사용 패턴, 긴 운영 기간, 하드웨어와 소프트웨어를 함께 조정할 조직 역량이 필요하다.

현실적인 미래는 세 가지 층으로 나뉠 가능성이 높다. 첫째, 프런티어 학습과 범용 연구에는 GPU가 계속 핵심 역할을 한다. 둘째, 대규모 반복 추론에는 자체 AI 칩이나 클라우드 사업자의 특화 가속기가 확대될 수 있다. 셋째, 기업 고객은 특정 클라우드의 TPU, Trainium, Inferentia, Maia, GPU 인스턴스를 워크로드별로 조합하는 방향으로 움직일 수 있다.

이 변화는 AI 산업의 경쟁 축을 바꾼다. 과거에는 더 좋은 모델을 누가 먼저 공개하느냐가 중요했다. 앞으로는 같은 수준의 모델을 누가 더 낮은 비용, 더 낮은 전력, 더 안정적인 공급망, 더 높은 서비스 품질로 운영하느냐가 중요해질 수 있다. 모델 성능 경쟁은 끝나지 않는다. 다만 그 성능을 지속 가능한 사업으로 바꾸는 인프라 경쟁이 더 커진다.

결론: 칩을 만드는 기업이 아니라 비용 구조를 통제하는 기업

OpenAI, Anthropic, Meta, Google, AWS, Microsoft의 자체 AI 칩 전략은 같은 방향을 보지만 같은 목적을 갖고 있지는 않다. OpenAI는 ChatGPT와 API 추론 비용을 낮추려 한다. Anthropic은 보도 기준으로 장기적인 칩·파운드리 선택지를 검토하는 단계다. Meta는 내부 추천·광고·생성형 AI 워크로드의 총소유비용을 줄이려 한다. Google은 TPU를 통해 모델, 검색, 클라우드, 데이터센터를 연결한다. AWS는 Trainium과 Inferentia로 클라우드 가격 경쟁력과 고객 락인을 강화한다. Microsoft는 Maia를 Azure AI 인프라와 OpenAI 생태계의 결합력 강화 수단으로 활용한다.

따라서 이 흐름을 “Nvidia 시대의 종말”로 읽는 것은 부정확하다. 더 정확한 해석은 AI 산업의 경쟁 축이 모델 개발에서 인프라와 비용 구조까지 확장되고 있다는 것이다. GPU는 계속 중요하다. 다만 대규모 AI 서비스를 운영하는 기업들은 GPU만으로는 비용, 전력, 공급망, 제품 로드맵을 충분히 통제하기 어렵다고 판단하기 시작했다.

결국 자체 AI 칩의 의미는 반도체 내재화가 아니다. AI 서비스를 얼마나 지속 가능한 단가로, 얼마나 예측 가능한 인프라 위에서, 얼마나 빠르게 확장할 수 있느냐의 문제다. 앞으로의 AI 경쟁력은 모델 성능뿐 아니라 칩, 데이터센터, 클라우드, 네트워크, 서빙 소프트웨어를 함께 최적화하는 능력에서 갈릴 가능성이 높다. 따라서 자체 AI 칩 경쟁은 GPU를 대체하는 승부가 아니라, AI 서비스를 운영하는 기업들이 비용·전력·공급망·소프트웨어 스택을 어디까지 직접 통제할 것인가의 경쟁으로 봐야 한다.

참고 출처

• OpenAI and Broadcom unveil LLM-optimized inference chip
• OpenAI unveils its first custom chip, built by Broadcom
• 오픈AI, 브로드컴과 손잡고 첫 자체 AI 칩 ‘할라피뇨’ 개발
• Anthropic is discussing a new custom chip with Samsung
• 앤트로픽, 삼성전자와 AI 맞춤형 칩 개발 논의
• Four MTIA Chips in Two Years: Scaling AI Experiences for Billions
• Our next generation Meta Training and Inference Accelerator
• Expanding Meta’s Custom Silicon to Power Our AI Workloads
• Tensor Processing Units (TPUs) – Google Cloud
• TPU architecture – Google Cloud Documentation
• Our eighth generation TPUs: two chips for the agentic era
• AI Accelerator – AWS Trainium
• AI Chip – Amazon Inferentia – AWS
• AWS AI chips powering Amazon’s partnership with Anthropic
• Get started quickly with AWS Trainium and AWS Inferentia using AWS Neuron DLAMI and AWS Neuron DLC
• Azure Maia for the era of AI: From silicon to software to systems
• Maia 200: The AI accelerator built for inference
• 리벨리온, AI 추론 최적화 기업 스퀴즈비츠 인수…풀스택 AI 인프라 강화