온디바이스 AI 시대, 반도체 지형이 바뀐다｜NPU·저전력 메모리·파운드리의 새로운 경쟁

칩워 다이어리｜2026년 8월
생성형 AI 경쟁의 첫 번째 전장은 데이터센터였다. 엔비디아의 GPU와 HBM을 중심으로 막대한 투자가 이어졌고, AI 반도체의 성능은 곧 데이터센터의 연산 능력을 의미했다. 그러나 2026년 현재 AI 반도체의 또 다른 전장이 빠르게 커지고 있다. 바로 스마트폰과 노트북, 자동차, 가전제품 내부다. 이번 칩워 다이어리에서는 AI가 클라우드를 벗어나 개인 기기 안으로 들어가면서 반도체 산업의 경쟁 기준이 어떻게 달라지고 있는지 살펴본다.

인공지능 산업의 중심이 대규모 데이터센터에서 개인이 사용하는 기기로 확장되고 있다. 지금까지 생성형 AI 서비스는 대부분 클라우드 서버에서 연산을 처리했다. 사용자가 질문이나 명령을 입력하면 데이터가 서버로 전달되고, 서버에 설치된 GPU가 결과를 계산한 뒤 다시 이용자의 기기로 보내는 방식이다.

그러나 스마트폰이나 노트북 자체에서 AI 연산을 처리하는 온디바이스 AI(On-Device AI) 기술이 확대되면서 이러한 구조가 달라지고 있다. 이제 반도체 기업들은 단순히 연산 속도가 빠른 칩을 만드는 데 그치지 않고, 제한된 배터리와 메모리 안에서 AI 모델을 얼마나 효율적으로 실행할 수 있는지를 놓고 경쟁하고 있다.

온디바이스 AI란 무엇인가?

온디바이스 AI는 스마트폰, 노트북, 자동차, 로봇, 가전제품 등 사용자의 기기 내부에서 인공지능 연산을 직접 처리하는 기술이다.

기존 클라우드 AI는 음성이나 사진, 문서와 같은 데이터를 외부 서버로 전송해야 한다. 반면 온디바이스 AI는 일부 데이터를 기기 내부에서 처리하기 때문에 인터넷 연결이 불안정한 상황에서도 AI 기능을 사용할 수 있다.

대표적인 장점은 세 가지다.

첫째, 응답 속도가 빠르다. 데이터를 외부 서버로 전송하고 결과를 기다리는 과정이 줄어들기 때문이다.

둘째, 개인정보 보호에 유리하다. 사진과 음성, 메시지, 일정 등의 개인 데이터를 기기 밖으로 보내지 않고 처리할 수 있다.

셋째, 클라우드 사용 비용을 줄일 수 있다. 모든 AI 요청을 데이터센터에서 처리하지 않아도 되므로 서비스 기업의 서버 운영 부담도 낮아질 수 있다.

다만 모든 생성형 AI 기능을 기기 내부에서 처리할 수 있는 것은 아니다. 대규모 모델이나 복잡한 추론이 필요한 작업은 여전히 클라우드 서버가 필요하다. 따라서 2026년 기준으로는 간단하고 반복적인 작업은 기기에서 처리하고, 고성능 연산이 필요한 작업은 클라우드로 보내는 하이브리드 AI 구조가 현실적인 방향으로 자리 잡고 있다.

애플 역시 Apple Intelligence를 온디바이스 처리와 비공개 클라우드 컴퓨팅이 결합된 구조로 설명한다. 사용자의 요청 가운데 기기에서 처리할 수 있는 작업은 자체적으로 실행하고, 더 큰 모델이 필요한 경우 별도의 서버 자원을 이용하는 방식이다.[1]

온디바이스 AI가 반도체 시장을 바꾸는 이유

클라우드 데이터센터에서는 최대한 많은 연산을 빠르게 처리하는 것이 중요하다. 전력 소비가 크더라도 높은 성능을 내는 GPU와 AI 가속기가 핵심 자원으로 사용된다.

하지만 스마트폰이나 노트북은 상황이 다르다. 기기 안에 들어가는 반도체는 배터리 사용 시간과 발열, 제품 두께까지 고려해야 한다. 성능이 아무리 높아도 전력 소비가 지나치게 크거나 기기가 뜨거워진다면 실제 제품에 적용하기 어렵다.

따라서 온디바이스 AI 시대의 핵심 경쟁 기준은 단순한 최고 연산 성능이 아니라 다음과 같이 달라진다.

소비 전력당 AI 처리 성능
발열을 억제하는 설계 능력
제한된 메모리에서 AI 모델을 실행하는 능력
CPU·GPU·NPU를 효율적으로 연결하는 시스템 설계
AI 모델과 반도체를 함께 최적화하는 소프트웨어 기술

이 변화의 중심에 있는 반도체가 바로 NPU다.

CPU·GPU·NPU는 무엇이 다를까?

NPU는 신경망처리장치의 약자로, 인공지능 신경망의 추론 연산을 효율적으로 처리하도록 설계된 반도체다.

CPU는 운영체제와 애플리케이션 등 다양한 작업을 처리하는 범용 프로세서다. GPU는 많은 데이터를 동시에 계산하는 병렬 연산에 강하다. 반면 NPU는 이미지 인식과 음성 분석, 번역, 문서 요약처럼 AI가 반복적으로 수행하는 행렬 연산에 특화되어 있다.

CPU·GPU·NPU 비교표

구분	CPU	GPU	NPU
주요 역할	운영체제와 범용 프로그램 실행	그래픽 및 대규모 병렬 연산	AI 신경망 추론 연산
강점	다양한 작업을 유연하게 처리	대량의 데이터를 동시에 계산	낮은 전력으로 AI 연산 처리
주요 활용	문서 작업, 앱 실행, 시스템 제어	게임, 영상, AI 학습	음성 인식, 번역, 이미지 분석
전력 효율	AI 작업에서는 상대적으로 낮음	성능은 높지만 전력 소모가 큼	온디바이스 AI에 적합
온디바이스 AI 역할	전체 시스템 관리	일부 고성능 AI 연산 지원	반복적인 AI 작업 전담

NPU가 CPU나 GPU를 완전히 대체하는 것은 아니다. 실제 AI 기기에서는 CPU가 시스템을 관리하고, GPU가 그래픽과 일부 병렬 연산을 담당하며, NPU가 AI 추론을 처리한다.

따라서 앞으로의 경쟁은 개별 부품 하나의 성능보다 CPU와 GPU, NPU가 얼마나 효율적으로 협력하는가에 달려 있다.

스냅드래곤 X 엘리트의 45TOPS가 의미하는 것

AI PC 시장에서 대표적으로 언급되는 수치가 퀄컴 스냅드래곤 X 엘리트의 45TOPS다.

TOPS는 ‘초당 1조 번의 연산’을 의미하는 Tera Operations Per Second의 약자다. 45TOPS는 이론적으로 NPU가 초당 45조 번의 AI 연산을 처리할 수 있다는 의미다.

퀄컴 공식 제품 자료에 따르면 스냅드래곤 X 엘리트에 탑재된 Hexagon NPU는 최대 45TOPS의 AI 처리 성능을 제공한다. 해당 플랫폼은 LPDDR5X 메모리와 최대 135GB/s의 메모리 대역폭도 지원한다.[2]

다만 TOPS 수치만으로 실제 AI 성능을 단정해서는 안 된다. 같은 45TOPS라도 실행하는 AI 모델과 메모리 대역폭, 소프트웨어 최적화, 발열 관리에 따라 체감 성능은 달라질 수 있다.

예를 들어 높은 NPU 성능을 갖췄더라도 메모리에서 데이터를 충분히 빠르게 공급하지 못한다면 연산 장치가 대기하는 병목 현상이 발생한다. 반대로 하드웨어와 AI 모델이 잘 최적화돼 있다면 상대적으로 낮은 TOPS에서도 실제 기능을 빠르게 실행할 수 있다.

결국 TOPS는 중요한 지표지만, 온디바이스 AI 반도체를 평가할 때는 전력 소비와 메모리 성능, 지원하는 AI 모델, 실제 애플리케이션 성능을 함께 봐야 한다.

저전력 메모리가 AI 반도체의 핵심이 되는 이유

온디바이스 AI가 확산되면 NPU뿐만 아니라 메모리 반도체의 중요성도 커진다.

AI 모델은 수많은 매개변수를 메모리에 저장해 두고 연산 과정에서 반복적으로 불러온다. 메모리 용량이 부족하면 큰 모델을 실행할 수 없고, 데이터 전송 속도가 느리면 NPU가 제 성능을 내기 어렵다.

데이터센터에서는 GPU에 데이터를 빠르게 공급하기 위해 HBM이 사용된다. 스마트폰과 노트북에서는 높은 속도와 낮은 소비 전력을 동시에 충족해야 하므로 LPDDR 계열의 저전력 D램이 중요하다.

삼성전자는 LPDDR5X를 스마트폰뿐 아니라 PC와 서버, 자동차, 온디바이스 AI 기기로 확대되는 저전력 메모리로 소개하고 있다. 삼성전자 공식 자료에 따르면 일부 LPDDR5X 제품은 이전 세대 제품과 비교해 최대 1.25배 빠른 속도와 약 25% 향상된 전력 효율을 목표로 한다.[3] 다만 해당 비교 수치는 특정 제품 세대와 시험 조건을 기준으로 한 제조사 발표이므로 모든 기기에서 동일한 성능 향상을 의미하지는 않는다.

생성형 AI 기능이 고도화되면 스마트폰과 노트북에 필요한 기본 메모리 용량도 커질 가능성이 높다. 따라서 온디바이스 AI는 NPU 시장뿐만 아니라 고용량 모바일 D램과 고성능 저장장치 시장에도 영향을 줄 수 있다.

온디바이스 AI의 기본 구조

온디바이스 AI 기기는 대체로 다음과 같은 흐름으로 작동한다.

사용자 입력
↓
음성·사진·문서 등 데이터 수집
↓
CPU가 작업 종류를 판단
↓
NPU 또는 GPU가 AI 연산 수행
↓
메모리에서 AI 모델과 데이터 호출
↓
기기 내부에서 결과 생성
↓
필요한 경우에만 클라우드 서버 연결

이 구조의 핵심은 모든 요청을 무조건 클라우드로 보내지 않는다는 점이다. 간단한 번역이나 사진 보정, 음성 인식은 기기 내부에서 처리하고, 복잡한 생성형 AI 요청만 서버로 전달하는 방식이다.

이러한 하이브리드 구조가 확대되면 데이터센터용 AI 반도체 수요가 사라지는 것이 아니라, 클라우드용 반도체와 기기용 반도체가 동시에 성장하는 이중 시장이 만들어질 가능성이 높다.

파운드리 경쟁도 전력 효율 중심으로 바뀐다

온디바이스 AI 칩은 제한된 공간에 CPU와 GPU, NPU, 통신 기능, 이미지 처리 장치 등을 통합해야 한다. 따라서 더 많은 트랜지스터를 작은 면적에 집적하면서 전력 소비와 발열을 낮추는 첨단 미세공정이 중요하다.

공정이 미세해질수록 같은 크기의 반도체에 더 많은 기능을 넣을 수 있고, 설계에 따라 성능과 전력 효율을 개선할 수 있다. 이러한 이유로 온디바이스 AI 시장의 확대는 팹리스 기업뿐 아니라 첨단 공정을 보유한 파운드리 기업에도 중요한 기회가 된다.

그러나 미세공정만으로 모든 문제를 해결하기는 어렵다. 여러 기능의 반도체를 하나의 패키지로 연결하는 첨단 패키징과 이종 집적 기술도 중요해지고 있다.

앞으로는 CPU와 NPU, 메모리를 효율적으로 연결하고 데이터 이동 거리를 줄이는 설계가 제품 성능을 좌우할 가능성이 크다. 반도체에서 데이터 이동은 상당한 전력을 소비하기 때문에 연산 능력을 높이는 것만큼 데이터가 이동하는 경로를 줄이는 것도 중요하다.

스마트폰을 넘어 자동차와 가전으로

온디바이스 AI의 활용 분야는 스마트폰과 AI PC에만 머물지 않는다.

자동차는 카메라와 레이더, 각종 센서가 수집한 데이터를 실시간으로 분석해야 한다. 보행자나 장애물을 판단하는 과정에서 클라우드 서버의 응답을 기다릴 수 없으므로 차량 내부의 AI 반도체가 핵심 역할을 한다.

스마트 가전에서도 사용자의 생활 습관을 분석하거나 에너지 사용량을 조절하는 기능이 확대되고 있다. 보안 카메라와 공장 로봇, 의료기기 역시 현장에서 데이터를 즉시 처리할 필요가 있다.

이 때문에 앞으로는 하나의 범용 NPU만 성장하기보다 자동차용, 스마트폰용, 가전용, 로봇용처럼 용도별로 최적화된 AI 반도체 시장이 세분화될 가능성이 있다.

각 제품은 요구 조건이 다르다. 스마트폰은 배터리와 발열이 중요하고, 자동차는 안정성과 실시간 반응이 중요하다. 가전제품은 가격 경쟁력과 장기간 공급이 중요하다. 결국 온디바이스 AI 반도체 시장은 제품별 요구 조건에 맞춘 설계 경쟁으로 발전할 것이다.

한국 반도체 기업에는 어떤 기회가 있을까?

온디바이스 AI 시장의 확대는 한국 반도체 산업에도 새로운 기회가 될 수 있다.

한국 기업은 D램과 낸드플래시 등 메모리 반도체에서 강점을 가지고 있다. 스마트폰과 노트북의 AI 기능이 늘어나면 고용량 저전력 D램과 모바일 저장장치의 수요가 증가할 가능성이 있다.

이미지센서 역시 중요한 분야다. 온디바이스 AI는 카메라가 수집한 정보를 분석하는 경우가 많기 때문에 이미지센서와 AI 프로세서의 결합이 중요해진다. 자동차와 로봇, 보안 장비 시장이 성장할수록 센서 반도체의 활용 범위도 넓어진다.

반면 해결해야 할 과제도 있다. 모바일 NPU의 성능과 전력 효율을 높여야 하며, AI 반도체를 실제 서비스로 연결하는 소프트웨어 생태계도 강화해야 한다. 파운드리 분야에서는 첨단 공정의 수율과 고객사 확보가 여전히 중요한 변수다.

온디바이스 AI 시장의 최종 승자는 단순히 반도체 성능이 높은 기업이 아닐 수 있다. 프로세서와 메모리, 운영체제, AI 모델, 애플리케이션을 함께 최적화하는 기업이 더 유리할 가능성이 높다.

칩워 다이어리의 결론

AI 반도체의 첫 번째 전장은 데이터센터였다. 하지만 2026년에는 AI 연산이 스마트폰과 노트북, 자동차, 가전제품 내부로 확산되면서 두 번째 전장이 본격적으로 열리고 있다.

이 변화는 NPU와 저전력 메모리, 첨단 파운드리 공정, 패키징 기술의 가치를 높이고 있다. 과거 반도체 시장이 최고 연산 성능을 중심으로 경쟁했다면, 온디바이스 AI 시대에는 제한된 전력 안에서 얼마나 효율적으로 AI를 실행하는지가 더 중요한 기준이 된다.

온디바이스 AI는 데이터센터용 GPU 시장을 대체하는 기술이 아니다. 클라우드에서 처리할 작업과 기기 내부에서 처리할 작업을 나누면서 AI 반도체 시장 자체를 더 넓히는 변화에 가깝다.

따라서 AI 반도체 시장을 분석할 때는 엔비디아 GPU와 HBM만 볼 것이 아니라 모바일 NPU, 저전력 D램, 이미지센서, 파운드리와 첨단 패키징 시장까지 함께 살펴봐야 한다.

다음에 지켜볼 포인트
첫째, AI 스마트폰과 AI PC의 메모리 기본 용량이 실제로 얼마나 증가하는지 확인할 필요가 있다.
둘째, 기업들이 발표하는 TOPS 수치가 실제 앱 실행 속도와 배터리 사용 시간으로 이어지는지 비교해야 한다.
셋째, 온디바이스 AI가 자동차와 가전제품의 교체 수요를 만들어낼 수 있는지 지켜봐야 한다.
넷째, 국내 반도체 기업이 메모리 강점을 시스템반도체와 파운드리 경쟁력으로 연결할 수 있는지가 핵심이다.

참고자료 및 수치 출처

[1] Apple, 「Apple Intelligence 및 Siri」 및 2026년 6월 Apple Intelligence 공식 발표. Apple은 온디바이스 처리와 비공개 클라우드 컴퓨팅을 결합한 AI 구조를 설명하고 있다.

[2] Qualcomm, 「Snapdragon X Elite 제품 사양」. Hexagon NPU 최대 45TOPS, LPDDR5X 메모리와 최대 135GB/s 메모리 대역폭 지원.

[3] Samsung Semiconductor, 「LPDDR5X」 제품 소개. 이전 세대 LPDDR5X 대비 최대 1.25배 속도 및 약 25% 전력 효율 향상이라는 제조사 기준 수치 제시.