[AI 트렌드 리포트] 온디바이스 인공지능(AI) 뜻과 핵심 반도체 기술 분석
|
| 온디바이스 AI를 만드는 핵심 반도체 구조 |
AI PC를 고를 때 NPU의 TOPS 숫자만 높으면 좋은 제품일까요?
온디바이스 AI가 스마트폰과 PC의 핵심 기능으로 확대되면서 NPU(Neural Processing Unit)가 새로운 성능 지표로 떠올랐습니다.
하지만 실제로 기기에서 AI 모델을 실행해보면 NPU 연산 성능 하나만으로 전체 경험을 설명하기 어렵습니다.
모델 데이터를 얼마나 빠르게 메모리에서 가져올 수 있는지, 모델 전체를 메모리에 올릴 수 있는지, 장시간 실행해도 발열과 전력 소비를 감당할 수 있는지, 운영체제와 앱이 실제 NPU를 활용하는지도 중요하기 때문입니다.
그래서 온디바이스 AI 반도체를 볼 때는 단순히 “NPU가 얼마나 빠른가?”보다 조금 더 넓은 질문이 필요합니다.
연산 → 메모리 → 데이터 이동 → 전력 → 소프트웨어
이번 AI리포트에서는 이 다섯 요소를 중심으로 온디바이스 AI 성능이 실제로 어떻게 결정되는지 살펴봅니다.
📌 핵심 요약
- NPU는 온디바이스 AI의 중요한 연산 장치지만 전체 성능을 혼자 결정하지는 않습니다.
- AI 모델은 많은 가중치와 중간 데이터를 계속 읽기 때문에 메모리 용량과 대역폭이 중요합니다.
- 모바일·노트북에서는 성능뿐 아니라 전력과 발열 관리가 필수입니다.
- TOPS 수치가 높아도 실제 앱이 해당 NPU를 사용하지 않으면 체감 효과가 제한될 수 있습니다.
- 온디바이스 AI를 평가할 때는 NPU → 메모리 → 전력 → 모델 → 소프트웨어를 함께 봐야 합니다.
🧠 온디바이스 AI는 어디에서 계산될까?
온디바이스 AI는 AI 추론의 일부 또는 전부를 스마트폰이나 PC 같은 사용자 기기에서 처리하는 구조입니다.
이 과정에서 하나의 프로세서만 사용되는 것은 아닙니다.
일반적인 기기 안에는 다음과 같은 연산 장치가 존재합니다.
- CPU — 범용 프로그램 실행과 제어
- GPU — 대규모 병렬 연산과 그래픽·AI 연산
- NPU — 머신러닝 추론을 전력 효율적으로 처리하도록 설계된 가속 장치
어떤 모델이 어느 장치에서 실행되는지는 운영체제, AI 프레임워크, 모델 형식, 하드웨어 지원에 따라 달라질 수 있습니다.
따라서 “온디바이스 AI = NPU에서만 실행되는 AI”라고 이해하면 정확하지 않습니다.
⚡ NPU란 무엇일까?
NPU는 Neural Processing Unit의 약자로 신경망 연산을 효율적으로 처리하도록 설계된 프로세서입니다.
AI 추론에는 행렬 곱셈처럼 같은 형태의 연산을 대량으로 반복하는 작업이 많이 발생합니다.
NPU는 이러한 작업을 CPU보다 효율적으로 처리하도록 설계되어 스마트폰이나 노트북처럼 전력과 발열 제약이 큰 환경에서 중요한 역할을 합니다.
Windows의 Copilot+ PC 기준에서도 NPU가 중요한 위치를 차지합니다.
Microsoft는 여러 Copilot+ PC AI 기능을 지원하는 하드웨어 조건으로 40 TOPS 이상을 처리할 수 있는 NPU를 제시하고 있습니다.
여기에서 TOPS는 Trillion Operations Per Second, 즉 초당 처리할 수 있는 연산 규모를 나타내는 지표입니다.
하지만 TOPS 숫자가 곧 실제 AI 속도를 의미하는 것은 아닙니다.
🔍 왜 TOPS만 보면 안 될까?
자동차의 최고 출력만 보고 실제 주행 성능을 모두 판단하기 어려운 것처럼 AI 반도체도 연산기의 최대 성능 하나로 전체 성능을 설명하기 어렵습니다.
AI 모델을 실행하려면 연산 장치가 끊임없이 모델 가중치와 데이터를 가져와야 합니다.
연산 능력이 아무리 높아도 필요한 데이터가 제때 공급되지 않으면 NPU는 기다려야 합니다.
이 때문에 AI 시스템에서는 데이터 이동이 중요한 병목이 될 수 있습니다.
Qualcomm의 최신 모바일 NPU 설계에서도 NPU 내부 공유 메모리를 확대해 자주 사용하는 모델 데이터와 중간 텐서를 프로세서 가까이에 두고 외부 DRAM 왕복을 줄이는 방향이 강조되고 있습니다.
즉 온디바이스 AI에서는:
연산 속도 + 메모리 접근 속도 + 데이터 이동량
을 함께 봐야 합니다.
💾 두 번째 핵심｜메모리 용량과 대역폭
생성형 AI 모델을 기기에서 실행하려면 모델 자체를 저장하고 실행할 수 있는 충분한 메모리가 필요합니다.
예를 들어 모델 파일이 기기에 저장되어 있더라도 실제 추론 과정에서는 모델 가중치와 KV 캐시, 중간 계산 결과 등이 메모리 공간을 사용합니다.
그래서 로컬 AI에서는 단순히 저장공간이 큰 것보다 실행 가능한 메모리 용량이 중요합니다.
동시에 메모리 대역폭도 중요합니다.
대역폭은 일정 시간 동안 프로세서와 메모리 사이에서 얼마나 많은 데이터를 이동시킬 수 있는지를 나타냅니다.
모델이 커질수록 읽어야 하는 데이터가 많아지기 때문에 메모리 속도가 부족하면 높은 NPU 성능을 충분히 활용하지 못할 수 있습니다.
🚀 LPDDR6가 주목받는 이유
모바일과 AI PC에서는 높은 성능뿐 아니라 낮은 전력 소비도 필요합니다.
이 때문에 LPDDR(Low Power Double Data Rate) 계열 메모리가 중요합니다.
2026년에는 차세대 LPDDR6도 온디바이스 AI를 겨냥한 메모리 기술로 등장하고 있습니다.
Samsung Semiconductor는 자사의 LPDDR6에서 LPDDR5X 대비 대역폭과 에너지 효율을 높이고, AI 워크로드에 따라 전압과 주파수를 조정하는 전력 관리 기술을 적용했다고 설명하고 있습니다.
여기에서 중요한 방향은 특정 제품의 숫자 하나가 아닙니다.
AI 반도체 경쟁이 연산 장치에서 메모리와 데이터 이동 효율까지 확장되고 있다는 것입니다.
|
| NPU와 메모리가 만드는 온디바이스 AI 구조 |
🌡️ 세 번째 핵심｜전력과 발열
데이터센터에서는 높은 전력 소비와 발열을 대규모 냉각 장치로 관리할 수 있습니다.
하지만 스마트폰이나 얇은 노트북은 상황이 다릅니다.
배터리 용량과 냉각 공간이 제한되어 있기 때문입니다.
AI 기능을 몇 초 실행하는 것과 긴 시간 계속 실행하는 것도 다릅니다.
짧은 벤치마크에서는 높은 성능을 보여도 장시간 AI 작업에서는 온도가 상승하면서 프로세서가 성능을 낮출 수 있습니다.
이를 흔히 열 스로틀링(Thermal Throttling)이라고 합니다.
그래서 온디바이스 AI에서는 최대 성능뿐 아니라:
- 와트당 성능
- 장시간 지속 성능
- 발열
- 배터리 사용량
도 중요한 평가 기준입니다.
🧩 칩렛과 첨단 패키징은 어디에 들어갈까?
원래 온디바이스 AI 설명에서 칩렛과 3D 패키징이 자주 함께 언급되지만 모든 스마트폰과 AI PC가 칩렛 구조를 사용하는 것은 아닙니다.
많은 모바일 SoC는 여전히 하나의 통합 칩에 CPU·GPU·NPU·메모리 컨트롤러 등을 결합하는 방식을 사용합니다.
반면 더 높은 성능과 더 많은 메모리 대역폭이 필요한 시스템에서는 여러 다이를 고속으로 연결하는 칩렛 또는 첨단 패키징 방식이 활용될 수 있습니다.
예를 들어 Apple은 2026년 M5 Ultra에서 여러 다이를 연결하는 구조를 사용하고 있습니다.
따라서 칩렛은 온디바이스 AI의 필수 조건이라기보다 고성능 시스템에서 확장성을 높이는 하나의 반도체 설계 방법으로 보는 것이 정확합니다.
🧠 네 번째 핵심｜모델 자체도 작아져야 한다
하드웨어 성능이 올라가더라도 데이터센터용 거대 모델을 그대로 스마트폰에 넣기는 어렵습니다.
그래서 온디바이스 AI에서는 모델 최적화도 반도체만큼 중요합니다.
대표적인 기술이 양자화입니다.
모델 가중치에 사용하는 정밀도를 낮추면 필요한 메모리와 연산량을 줄일 수 있습니다.
예를 들어 FP16보다 INT8 또는 INT4 같은 낮은 정밀도를 사용하면 모델 실행에 필요한 메모리와 데이터 이동량을 크게 줄일 수 있습니다.
다만 정밀도를 낮추면 모델 품질에 영향을 줄 수 있기 때문에 속도·메모리·정확도 사이에서 균형을 잡아야 합니다.
최근 모바일 NPU 역시 여러 정밀도를 지원해 작업에 따라 성능과 전력 소비를 조절하는 방향으로 발전하고 있습니다.
🖥️ 다섯 번째 핵심｜하드웨어가 있어도 소프트웨어가 사용해야 한다
NPU가 탑재되어 있다고 해서 모든 AI 프로그램이 자동으로 NPU에서 실행되는 것은 아닙니다.
애플리케이션과 AI 프레임워크가 해당 하드웨어를 지원해야 합니다.
Windows에서는 ONNX Runtime과 Windows AI API 등을 통해 NPU에 접근할 수 있으며, 다른 플랫폼 역시 자체 AI 프레임워크를 제공합니다.
즉 같은 NPU 성능을 가진 기기라도:
- 운영체제 지원
- AI 프레임워크
- 모델 최적화
- 앱 개발사의 지원
에 따라 실제 사용자 경험은 달라질 수 있습니다.
🔍 AI리포트 분석｜온디바이스 AI는 ‘반도체 하나’의 경쟁이 아니다
온디바이스 AI 제품을 비교할 때 가장 눈에 띄는 숫자는 NPU TOPS입니다.
하지만 실제 AI 경험은 여러 부품과 소프트웨어가 연결되어 만들어집니다.
「호기심 많은 AI리포트」에서는 이를 다음 다섯 단계로 보는 것을 제안합니다.
연산 → 메모리 → 데이터 이동 → 전력 → 소프트웨어
연산 — NPU·GPU가 필요한 AI 계산을 얼마나 빠르게 처리하는가?
메모리 — 실행하려는 모델을 충분히 올릴 수 있는가?
데이터 이동 — 모델 데이터를 프로세서까지 얼마나 빠르고 효율적으로 전달하는가?
전력 — 장시간 실행하면서 배터리와 발열을 감당할 수 있는가?
소프트웨어 — 실제 앱이 해당 하드웨어 가속을 사용할 수 있는가?
다섯 요소 가운데 하나가 크게 부족하면 다른 부품의 높은 사양을 충분히 활용하지 못할 수 있습니다.
온디바이스 AI의 성능은 가장 높은 숫자보다 전체 시스템의 균형에 가깝습니다.
🛠️ 실전 루틴 1｜AI PC를 살 때 TOPS 다음으로 메모리 보기
AI PC나 노트북을 비교할 때 먼저 NPU 지원 여부를 확인할 수 있습니다.
그다음에는 시스템 메모리를 확인합니다.
로컬 언어 모델을 실행하면 운영체제와 일반 프로그램도 같은 메모리를 사용하기 때문에 모델 크기만큼의 RAM만 있으면 충분하다고 생각해서는 안 됩니다.
예를 들어 로컬 AI를 적극적으로 사용할 계획이라면:
- 실행하려는 모델의 메모리 요구량
- 운영체제와 다른 앱의 메모리 사용량
- GPU와 공유하는 메모리 구조인지
를 함께 확인합니다.
확인 기준: 내가 실행하려는 로컬 AI 모델과 일반 업무 프로그램을 동시에 사용할 충분한 메모리가 있는가?
⚡ 실전 루틴 2｜최대 AI 성능보다 ‘지속 성능’을 확인하기
제품 사양표에는 최대 NPU·GPU 성능이 표시되는 경우가 많습니다.
하지만 실제 AI 작업이 수십 분 이상 지속된다면 전력과 발열도 중요합니다.
따라서 리뷰나 실제 테스트에서는 다음을 함께 확인하는 것이 좋습니다.
- 장시간 AI 실행 시 속도가 유지되는가?
- 팬 소음이나 기기 온도가 크게 올라가는가?
- 배터리 사용량이 얼마나 증가하는가?
- 전원 연결 여부에 따라 성능이 크게 달라지는가?
확인 기준: 짧은 벤치마크가 아니라 내가 실제 사용하는 시간 동안 성능이 유지되는가?
🔎 실전 루틴 3｜내가 쓰는 앱이 실제 NPU를 사용하는지 확인하기
가장 중요한 확인 중 하나입니다.
NPU가 40 TOPS, 50 TOPS라고 적혀 있어도 내가 사용하는 프로그램이 NPU를 지원하지 않는다면 해당 성능을 직접 활용하지 못할 수 있습니다.
구매 전에는 제조사나 앱 개발사의 지원 문서를 확인합니다.
다음 질문이 유용합니다.
- 이 AI 기능은 NPU에서 실행되는가?
- GPU나 CPU로 폴백하는가?
- 지원되는 모델 형식은 무엇인가?
- 오프라인에서도 작동하는가?
확인 기준: 높은 NPU 사양이 내가 실제 사용하는 AI 기능의 속도 향상으로 연결되는가?
📊 온디바이스 AI 하드웨어를 볼 때 확인할 것
| 요소 | 무엇을 의미하나 | 왜 중요한가 |
|---|---|---|
| NPU | AI 전용 추론 연산 | 전력 효율적인 로컬 AI 실행 |
| GPU | 대규모 병렬 계산 | 일부 생성형 AI와 큰 모델 실행 |
| 메모리 용량 | 한 번에 유지할 수 있는 데이터 규모 | 실행 가능한 모델 크기에 영향 |
| 메모리 대역폭 | 프로세서와 메모리 사이의 데이터 전송량 | AI 연산기의 대기 시간을 줄이는 데 중요 |
| 전력·냉각 | 지속 가능한 처리 능력 | 배터리·발열·장시간 성능에 영향 |
| 소프트웨어 지원 | OS·앱의 가속기 활용 여부 | 하드웨어 성능을 실제 기능으로 연결 |
⚠️ ‘AI 반도체 성능’ 숫자는 서로 단순 비교하면 안 된다
제조사들이 발표하는 TOPS 수치는 정밀도와 측정 조건이 다를 수 있어 숫자만 단순 비교하는 데 한계가 있습니다.
또 시스템 전체 AI 성능과 NPU 하나의 성능은 같은 개념이 아닙니다.
CPU·GPU·NPU를 합산한 수치인지, NPU만의 수치인지도 확인해야 합니다.
결국 사용자 입장에서 더 중요한 것은:
“이 칩의 TOPS가 얼마인가?”
만이 아니라:
“내가 사용하는 AI 모델을 얼마나 빠르고 오래, 효율적으로 실행할 수 있는가?”
입니다.
❓ 자주 묻는 질문
NPU가 없으면 온디바이스 AI를 사용할 수 없나요?
아닙니다. CPU나 GPU에서도 로컬 AI 모델을 실행할 수 있습니다. NPU는 특히 전력 효율적인 AI 추론을 위해 유리한 가속 장치입니다.
TOPS가 높은 NPU가 무조건 더 빠른가요?
그렇지 않습니다. 모델 구조, 정밀도, 메모리 대역폭, 드라이버와 프레임워크 지원에 따라 실제 성능은 달라질 수 있습니다.
로컬 LLM에서는 RAM이 중요한가요?
매우 중요합니다. 모델 가중치와 실행 중 생성되는 데이터가 메모리를 사용하기 때문에 메모리 용량은 실행 가능한 모델 크기와 직접적인 관계가 있습니다.
LPDDR6는 왜 AI에 중요한가요?
온디바이스 AI는 많은 데이터를 반복적으로 메모리와 프로세서 사이에서 이동시킵니다. 더 높은 대역폭과 낮은 전력 소비를 제공하는 메모리는 이러한 병목과 전력 부담을 줄이는 데 도움이 될 수 있습니다.
칩렛이 온디바이스 AI의 필수 기술인가요?
아닙니다. 칩렛과 첨단 패키징은 고성능 시스템의 확장성을 높이는 중요한 기술이지만 모든 스마트폰과 AI PC가 칩렛 구조를 사용하는 것은 아닙니다.
✅ 핵심 정리
온디바이스 AI 반도체 경쟁을 단순히 NPU TOPS 경쟁으로 이해하면 중요한 부분을 놓칠 수 있습니다.
AI 모델은 계산만 하는 것이 아니라 계속 데이터를 읽고 이동시키기 때문입니다.
그래서 실제 AI 성능을 결정하는 구조는 다음처럼 보는 편이 좋습니다.
NPU → 메모리 → 데이터 이동 → 전력 → 소프트웨어
NPU가 빠르더라도 메모리가 부족하면 큰 모델을 실행하기 어렵고, 메모리 대역폭이 부족하면 연산 장치가 데이터를 기다릴 수 있습니다.
전력과 냉각이 부족하면 장시간 최고 성능을 유지하기 어렵고, 소프트웨어가 NPU를 지원하지 않으면 강력한 하드웨어도 활용되지 않을 수 있습니다.
결국 온디바이스 AI 시대의 반도체 경쟁에서 중요한 것은 가장 높은 숫자 하나가 아닙니다.
“얼마나 빠르게 계산하느냐”에서 “얼마나 적은 전력으로 데이터를 이동시키고, 실제 모델을 지속적으로 실행하느냐”까지 경쟁 범위가 넓어지고 있습니다.
📚 참고자료
- Microsoft Learn — Copilot+ PC와 NPU 개발자 가이드
- Qualcomm — 차세대 Hexagon NPU와 온디바이스 AI 아키텍처
- Samsung Semiconductor — LPDDR6와 AI 메모리
댓글
댓글 쓰기