[피지컬 AI] 로봇은 현실 세계를 어떻게 배울까?｜3D 공간 데이터가 중요한 이유

로봇에게 “테이블 위의 컵을 가져와”라고 말하면 어떤 일이 일어날까요? AI가 컵이라는 물체를 알아보는 것만으로는 충분하지 않습니다. 컵까지의 거리와 높이, 주변 장애물, 로봇 팔이 움직일 경로까지 파악해야 실제 행동으로 이어질 수 있습니다.

피지컬 AI(Physical AI)는 AI가 현실 세계의 공간과 물체를 인식하고 판단해 로봇이나 기계의 실제 행동으로 연결하는 기술 흐름입니다. 이 과정에서 중요한 것이 거리·깊이·위치와 공간 구조를 표현하는 3D 공간 데이터입니다.

2026년 10월 14일 라이다 기업 Hesai가 공식 출시한 Kosmo 3D World Data Engine도 이 문제를 겨냥합니다. 현실 공간을 측정해 로봇 학습과 월드 모델 개발 등에 사용할 수 있는 3D 디지털 환경으로 변환하는 시스템입니다.

하지만 이번 글에서 중요한 것은 Kosmo라는 제품 하나가 아닙니다.

생성형 AI가 화면 밖으로 나오면서 “현실 세계를 어떻게 학습 가능한 데이터로 만들 것인가”가 새로운 AI 인프라 문제로 떠오르고 있다는 점입니다.

🔎 핵심 요약

• 피지컬 AI는 AI의 판단을 현실 세계의 행동으로 연결하는 기술 흐름입니다.
• 로봇은 물체의 이름뿐 아니라 거리·깊이·위치·주변 공간의 구조를 파악해야 합니다.
• 이를 위해 카메라, LiDAR, IMU 같은 센서와 3D 공간 데이터가 활용됩니다.
• 현실 공간을 3D 환경으로 재구성하면 로봇이 가상환경에서 반복적으로 학습하고 시험할 수 있습니다.
• 장기적으로 피지컬 AI 경쟁은 AI 모델뿐 아니라 현실 세계의 공간·행동 데이터를 얼마나 잘 확보하고 활용하느냐의 경쟁으로 확대될 가능성이 있습니다.

🤖 로봇은 왜 처음 보는 공간에서 어려움을 겪을까?

사람은 처음 방문한 방에서도 비교적 자연스럽게 주변을 파악합니다.

문을 열고 들어가면 책상이 어디에 있는지, 의자와 얼마나 떨어져 있는지, 어느 길로 걸어가야 부딪히지 않는지를 빠르게 판단합니다.

로봇에게는 이 과정이 훨씬 복잡합니다.

예를 들어 로봇에게 “냉장고에서 음료를 가져와”라고 명령했다고 생각해보겠습니다.

AI가 ‘냉장고’와 ‘음료’라는 단어를 이해하는 것만으로는 일을 수행할 수 없습니다.

냉장고가 어느 방향에 있는지 찾고, 이동 가능한 경로를 계산하고, 장애물을 피해야 합니다. 냉장고에 도착한 뒤에는 손잡이의 위치와 깊이를 파악하고 로봇 팔을 어느 방향으로 움직여야 하는지도 판단해야 합니다.

음료를 집을 때도 물체의 크기와 위치, 주변 공간과의 관계를 고려해야 합니다.

즉 “무엇인가?”를 알아보는 능력과 “그 물체가 있는 현실 공간에서 어떻게 행동할 것인가?”를 판단하는 능력은 같은 문제가 아닙니다.

피지컬 AI가 해결해야 하는 중요한 과제가 바로 여기에 있습니다.

📐 사진과 영상만으로 부족할 수 있는 이유는 무엇일까?

카메라는 로봇에게 매우 중요한 센서입니다. 이미지와 영상을 이용하면 사람이나 컵, 문, 자동차처럼 주변에 무엇이 있는지 파악할 수 있습니다.

하지만 현실에서 움직이는 로봇에게는 물체의 종류 외에도 정확한 공간 관계가 중요합니다.

예를 들어 테이블 위의 컵을 집으려면 다음과 같은 질문에 답해야 합니다.

• 컵까지 거리는 얼마나 되는가?
• 컵은 테이블 어느 위치에 놓여 있는가?
• 컵 주변에 다른 물체가 있는가?
• 로봇 팔이 접근할 수 있는 공간은 충분한가?
• 어떤 경로로 움직여야 충돌을 피할 수 있는가?

여기서 필요한 것이 깊이와 거리, 위치, 주변 환경의 기하학적 구조 같은 공간 정보입니다.

따라서 피지컬 AI에서는 이미지 인식과 함께 현실 공간의 구조를 표현하는 3D 데이터가 중요한 학습 자원이 될 수 있습니다.

다만 2D 이미지나 영상이 쓸모없다는 의미는 아닙니다. 실제 로봇 시스템에서는 카메라를 비롯한 여러 센서와 학습 방법을 함께 사용하는 경우가 많으며, 필요한 센서 구성은 작업과 환경에 따라 달라집니다.

🛠 로봇이 현실 세계를 배우는 3가지 방법

피지컬 AI가 현실에서 작동하려면 크게 현실을 측정하고, 디지털 환경으로 재구성하고, 그 안에서 학습한 결과를 다시 현실에서 검증하는 과정이 필요합니다.

① 카메라·LiDAR·IMU로 현실 공간을 측정한다

첫 번째 단계는 로봇이 활동할 현실 세계를 데이터로 만드는 것입니다.

카메라는 물체의 색상과 질감 같은 시각 정보를 얻는 데 활용할 수 있고, LiDAR는 레이저를 이용해 주변 물체와의 거리와 3차원 구조를 측정하는 데 사용됩니다.

IMU(관성측정장치)는 장치의 움직임과 방향 변화를 추정하는 데 활용됩니다.

이런 센서 정보를 결합하면 단순한 사진보다 풍부한 공간 정보를 만들 수 있습니다.

최근에는 센서 하나가 모든 문제를 해결하기보다 카메라·LiDAR·IMU 등 서로 다른 센서의 장점을 결합하는 센서 융합 방식도 활용됩니다.

② 실제 공간을 3D 학습 환경으로 재구성한다

센서로 데이터를 수집했다면 두 번째 단계는 현실 공간을 디지털 환경으로 옮기는 것입니다.

최근에는 전통적인 3D 모델링뿐 아니라 3D Gaussian Splatting(3DGS)과 같은 기술을 이용해 실제 장소를 비교적 사실적인 3D 공간으로 재구성하는 방법도 활용되고 있습니다.

이렇게 만든 공간에는 벽과 바닥, 가구와 물체의 위치 같은 현실 환경의 구조를 반영할 수 있습니다.

중요한 것은 보기 좋은 가상공간을 만드는 것 자체가 아닙니다.

로봇이 이동·탐색·물체 조작 같은 작업을 반복적으로 학습하고 시험할 수 있는 환경으로 만드는 것이 핵심입니다.

③ 시뮬레이션에서 연습하고 실제 세계에서 검증한다

세 번째 단계는 만들어진 디지털 환경에서 로봇을 반복적으로 학습하고 그 결과를 현실 세계로 연결하는 것입니다.

이를 설명할 때 자주 등장하는 개념이 Sim-to-Real입니다.

로봇이 실제 현장에서 모든 실패를 직접 경험하게 하면 시간과 비용이 많이 들고 안전 문제도 발생할 수 있습니다.

가상환경에서는 다양한 위치와 장애물, 작업 조건을 바꾸면서 같은 행동을 반복적으로 시험할 수 있습니다.

하지만 시뮬레이션이 현실과 너무 다르면 가상환경에서 성공한 행동이 실제 환경에서는 실패할 수 있습니다. 이를 흔히 현실과 시뮬레이션 사이의 차이, 즉 Sim-to-Real gap 문제로 설명합니다.

그래서 실제 공간을 충실하게 반영한 데이터와 현실에서의 반복 검증이 함께 중요합니다.

📷 Hesai Kosmo는 이 문제를 어떻게 해결하려 할까?

2026년 10월 14일 Hesai가 공식 출시한 Kosmo는 위의 세 단계 가운데 현실 공간 수집과 3D 환경 재구성에 초점을 맞춘 최신 사례입니다.

Kosmo는 현실 공간을 촬영하는 Kosmo One과 수집된 데이터를 처리하는 클라우드 플랫폼 Kosmo World로 구성됩니다.

Kosmo One은 고해상도 LiDAR와 이미지 센서, IMU를 결합해 공간의 기하학적 구조와 색상, 질감, 카메라 위치 등의 정보를 수집합니다.

Kosmo World는 이를 처리해 3DGS, mesh, depth 데이터 등을 생성하고 로봇 학습 등에 활용할 수 있는 시뮬레이션 환경으로 변환합니다.

흐름을 간단하게 정리하면 다음과 같습니다.

현실 공간 → 센서 측정 → 3D 공간 데이터 → 디지털 학습 환경 → 로봇 훈련 → 실제 환경 검증

Hesai는 Kosmo가 NVIDIA Isaac Sim·Isaac Lab, Unreal Engine, RenderMan, Houdini 등과 연동되는 생태계를 지원한다고 설명하고 있습니다.

여기서 중요한 것은 특정 제품의 우열보다 현실 세계를 재사용 가능한 AI 학습 데이터로 만드는 도구와 인프라가 하나의 산업 영역으로 형성되고 있다는 점입니다.

🌍 3D 공간 데이터는 월드 모델과 어떤 관계가 있을까?

3D 공간 데이터와 월드 모델은 같은 개념이 아닙니다.

3D 공간 데이터는 현실 환경의 형태와 거리, 깊이, 위치 같은 공간 정보를 표현합니다.

반면 월드 모델(World Model)은 AI가 환경의 상태와 변화, 행동에 따른 결과 등을 학습하고 예측하기 위한 더 넓은 개념입니다.

예를 들어 3D 데이터가 “컵이 테이블 위 어느 위치에 있다”는 공간 정보를 제공한다면, 월드 모델은 여기에 더해 “컵을 밀면 어떻게 움직일 가능성이 있는가”와 같은 변화와 상호작용을 학습하는 방향으로 확장될 수 있습니다.

따라서 현실에서 수집한 3D 데이터는 월드 모델이 현실에 기반한 환경을 학습하는 자료 가운데 하나로 활용될 수 있습니다.

이 관계는 앞으로 피지컬 AI를 이해할 때 중요합니다.

로봇이 현실에서 행동하려면 현실을 보는 능력뿐 아니라 공간을 이해하고, 변화 가능성을 예측하고, 그 결과에 맞춰 행동하는 능력까지 필요하기 때문입니다.

⚠️ 아직 해결되지 않은 문제도 있다

3D 공간 데이터를 많이 확보한다고 해서 피지컬 AI 문제가 모두 해결되는 것은 아닙니다.

첫째, 현실 세계는 계속 변합니다. 사람이 움직이고 물건의 위치가 바뀌며 조명과 날씨도 달라집니다. 한 번 만들어 놓은 3D 환경만으로 모든 변화를 표현하기는 어렵습니다.

둘째, 공간을 보는 것과 실제 물체를 안전하게 조작하는 것은 다른 문제입니다. 로봇에는 모터와 관절 제어, 힘 조절, 충돌 회피 같은 능력도 필요합니다.

셋째, 실제 공간을 정밀하게 수집하는 과정에서는 데이터 비용과 저장·처리 문제뿐 아니라 공간과 사람에 관한 정보가 포함될 경우 개인정보와 보안 문제도 고려해야 합니다.

따라서 피지컬 AI는 하나의 모델이나 센서가 해결하는 기술이라기보다 AI 모델 + 센서 + 공간 데이터 + 시뮬레이션 + 제어 시스템 + 로봇 하드웨어가 함께 작동해야 하는 시스템 문제에 가깝습니다.

💡 왜 지금 중요한가?

생성형 AI의 첫 번째 대규모 데이터 자원은 인터넷에 축적된 텍스트였습니다. 이후 이미지와 영상까지 학습 범위가 확대됐습니다.

하지만 AI가 로봇이라는 몸을 가지고 현실 세계로 나오기 시작하면 필요한 데이터도 달라질 수 있습니다.

텍스트 → 이미지·영상 → 3D 공간 → 행동 데이터

이런 방향으로 AI가 학습해야 할 데이터의 범위가 확장되는 것입니다.

공장과 물류센터, 매장, 병원, 가정처럼 실제 로봇이 활동해야 할 공간은 인터넷의 문서와는 전혀 다른 종류의 학습 환경입니다.

따라서 앞으로 피지컬 AI 기업의 경쟁력을 볼 때 “어떤 AI 모델을 사용하는가?”만 보는 것으로는 충분하지 않을 수 있습니다.

누가 더 다양하고 정확한 현실 세계 데이터를 확보하고, 이를 학습 가능한 환경으로 빠르게 변환하며, 실제 로봇의 행동으로 연결할 수 있는가?

이 질문이 점점 중요해질 가능성이 있습니다.

🏭 실무와 일상에는 무엇이 달라질까?

3D 공간 데이터 기술이 발전한다고 해서 당장 모든 가정에 휴머노이드 로봇이 들어온다는 의미는 아닙니다.

초기에는 공장과 물류센터, 매장처럼 반복 작업이 많고 비교적 구조화된 환경에서 활용 가능성을 확인하기 쉬울 수 있습니다.

예를 들어 새로운 매장에 로봇을 배치해야 한다면 개발자가 공간 전체를 처음부터 수작업으로 모델링하는 대신 실제 장소를 스캔해 디지털 학습 환경을 만들고, 가상환경에서 충분히 시험한 뒤 실제 로봇에 적용하는 방식이 확대될 수 있습니다.

Hesai는 아이스크림 매장을 대상으로 한 자체 적용 사례에서 기존 수작업 방식으로 약 300시간이 필요했던 3D 훈련 환경 구축을 Kosmo를 이용해 약 15분의 스캔·재구성 과정으로 수행했다고 밝혔습니다.

해당 배치에서 Sharpa 로봇의 작업 성공률이 99%에 도달했다는 결과도 공개했습니다.

다만 이 수치는 Hesai가 공개한 특정 매장과 시스템의 자체 사례입니다. 모든 로봇이나 환경에서 동일한 시간 단축이나 성공률을 기대할 수 있다는 의미는 아닙니다.

따라서 지금 단계에서는 특정 수치보다 현실 공간을 로봇 학습 환경으로 만드는 비용과 시간을 낮추려는 기술적 방향에 주목하는 것이 적절합니다.

❓ FAQ

피지컬 AI란 무엇인가요?

피지컬 AI는 AI가 현실 세계의 공간과 물체를 인식하고 판단한 뒤 로봇이나 기계의 실제 행동으로 연결하는 기술 흐름입니다. 언어와 이미지 이해뿐 아니라 공간 인식, 예측, 제어와 행동 능력이 함께 중요합니다.

로봇에게 3D 공간 데이터가 왜 필요한가요?

로봇은 현실에서 움직이고 물체를 다루기 위해 물체의 종류뿐 아니라 위치와 거리, 깊이, 주변 환경의 구조를 파악해야 합니다. 3D 공간 데이터는 이런 공간적 관계를 학습하고 시뮬레이션하는 데 활용될 수 있습니다.

LiDAR는 로봇에서 어떤 역할을 하나요?

LiDAR는 레이저를 이용해 주변 물체까지의 거리를 측정하고 공간의 3차원 구조를 파악하는 데 활용되는 센서입니다. 카메라 등 다른 센서와 함께 사용하면 로봇의 공간 인식에 필요한 정보를 보완할 수 있습니다.

3D 공간 데이터와 월드 모델은 같은 것인가요?

같지 않습니다. 3D 공간 데이터는 현실 환경의 거리·깊이·위치 같은 공간 정보를 표현하는 데이터이고, 월드 모델은 환경의 상태와 변화 또는 행동에 따른 결과를 학습하고 예측하는 더 넓은 개념입니다.

Sim-to-Real이란 무엇인가요?

Sim-to-Real은 시뮬레이션 환경에서 학습하거나 시험한 로봇의 능력을 실제 현실 환경에서도 작동하도록 연결하는 접근 방식입니다. 시뮬레이션과 현실의 차이를 줄이는 것이 중요한 과제입니다.

🔗 함께 읽으면 좋은 글

• [공간지능 AI] AMD가 82억 달러에 인수한 World Labs는 무엇일까?
• [피지컬 AI 트렌드] 화면 속 대화에만 속지 마세요! 피지컬 AI가 주도할 현실 세계의 대진전
• [차세대 AI 트렌드] 텍스트를 넘어 오감으로: 2026년 주목해야 할 멀티모달 AI의 진화 방향

📚 참고자료

• Hesai — Building the Data Infrastructure for Physical AI: Hesai Launches Kosmo 3D World Data Engine (2026.10.14)
• Reuters — China's Hesai launches spatial camera to boost AI-powered robotics adoption (2026.10.14)
• Hesai — Kosmo Spatial Intelligence Platform and Physical AI Vision

※ Hesai가 공개한 스캔 시간, 처리 효율, 훈련 데이터 생성량 및 로봇 적용 성능 등은 회사 자체 측정 또는 특정 적용 사례를 기반으로 합니다. 실제 결과는 공간 구조와 크기, 데이터 조건, 로봇 시스템 및 학습 방식에 따라 달라질 수 있습니다.