Physical AI 101 · 개요 · 연구 · VLA fine-tuning · 모델 internal · 로봇 개념까지

Physical AI 101 - 처음 시작하는 사람을 위한 개념 지도

대상: Physical AI를 처음 연구하려는 분 · 방식: 위에서부터 쭉 읽으면 순서대로 깊어집니다 · 검증: BDSA knowledge base(knowledge/pai) 및 인용 논문 기준

본문에 앞서 한 장면부터. Physical AI는 이미 현실에서, 그것도 대규모로 돌아가고 있습니다. 아래는 하나의 조율 AI가 Amazon 물류센터 로봇 fleet 전체를 움직이는 모습입니다. 여기서부터 위에서 아래로 큰 그림을 쌓아갑니다 — 무엇인지, 연구, VLA fine-tuning, 모델 속, 로봇까지.

이 문서는 Physical AI를 처음 접하는 사람이 클릭 없이도 큰 그림을 잡을 수 있게 썼습니다. 각 단락에 그림과 GIF를 붙였고, 더 깊이 보고 싶은 용어는 파란 점선 단어를 클릭하면 아래 해설 카드로 이동합니다(카드의 "↑ 맨 위로"로 복귀). 마지막에는 "그래서 이걸 어디서 돌리나" — AWS의 역할을 정리합니다.

왜 Physical AI가 중요한가

Physical AI란 무엇인가

제조 관점에서 이것이 중요한 이유는 단순하다: 지금까지 AI가 바꾼 것은 대부분 정보·소프트웨어 영역이었고, 공장·창고·물류 같은 물리 영역은 거의 손대지 못했다. Physical AI는 그 마지막 영역을 겨냥한다.

시장은 얼마나 빠르게 크는가

명명된 “Physical AI” 시장을 추적하는 리서치사들의 컨센서스 성장률은 연평균 약 31~33% (CAGR)이다.^[2][3][4] 흔히 인용되는 “35%+”는 방향은 맞지만 명명된 세그먼트 기준으로는 약간 높다 — 안전한 표현은 “~30~35% CAGR (세그먼트 정의에 따라)”이다. 인접 개념인 embodied AI로 정의를 넓히면 리서치사별 편차가 커져 약 15~39%로 벌어지는데, 상한(약 39%)은 MarketsandMarkets 기준이다.^[5]

• 좁게 정의한 Physical AI 시장 규모: 오늘 저-단위 십억 달러대 → 2030년대 중반 약 $60~80B.^[2][3] 예: $4.12B(2024) → $61.19B(2034), CAGR 31.26%.^[2] 더 공격적인 추정으로는 $0.89B(2025) → $15.24B(2032), CAGR 47.2%(산업용 로봇 세그먼트는 56.7%)도 있다.^[16]
• ⚠ 예컨대 Barclays는 로봇·자율주행차·산업자동화·드론을 모두 포함하는 넓은 정의로 $0.5–$1.4T(2035)를 제시하는데,^[14] 이는 로봇 하드웨어 전체를 포함한 정의 outlier이므로 위 좁은 제품시장 수치와 혼용하면 안 된다.

요지: Physical AI 제품 시장은 절대 규모는 아직 작지만 가장 빠르게 성장하는 AI 세그먼트 중 하나다.

“$5T”, “$50T” 큰 수의 진짜 의미 (반증 근거)

시중에 도는 큰 숫자들은 PAI 제품 시장이 아니라 인접·상위 개념의 규모다. 정확히 구분해야 과장이 되지 않는다.

자주 인용되는 수치	실제 정의	출처
$5조 (5 trillion) by 2050	휴머노이드 로봇 시장 (판매+공급망+서비스, ~10억 대 규모의 노동대체 TAM) — PAI 제품 시장이 아님	Morgan Stanley, 2025-05-14[6]
$7조 (7 trillion) by 2050	휴머노이드 로봇 시장(2050년 ~6.5억 대 가동 가정) — MS와 같은 계열의 넓은 정의, PAI 제품 시장이 아님	Citi GPS, 2025-04[15]
$50조 (50 trillion)	Physical AI가 변혁할 제조·물류·산업 경제의 규모 — 시장이 아니라 “AI가 아직 손대지 못한 물리경제”의 크기. 제품 TAM이 아님	NVIDIA / Jensen Huang, 2026[7]
$38B by 2035	휴머노이드 로봇 시장(더 보수적 추정, 함의 CAGR ~19.5%)	Goldman Sachs, 2024-02-27[8]

정리: $5T·$50T를 “Physical AI 시장 규모”라고 말하면 부정확하다. 올바른 프레이밍은 —

• “$50T는 Physical AI가 겨냥하는 물리경제의 크기”(왜 판이 큰지의 근거),
• “$5T는 휴머노이드 노동대체 시나리오의 상한”(장기 잠재력),
• “PAI 제품 시장 자체는 2030년대 중반 $60~80B, CAGR ~31~33%”(지금 팔 수 있는 시장).

이 세 층을 나눠 말하면 뻥튀기 없이도 “왜 지금 중요한가”가 선다.

다른 고도의 큰 숫자들 — AI로봇 광의 시장과 앵커 산업

위 표가 정리한 대로 층을 섞지 않는 것이 핵심이다. AWS의 Physical AI 세일즈 자료는 시장을 더 넓은 두 고도에서 프레이밍하는데, 이는 위 “명명된 PAI 제품 시장”($60~80B)과 다른 정의이므로 합산하거나 같은 축에 두면 안 된다 — “숫자의 정확도보다 방향”을 보는 용도다.

• AI로 구동되는 로봇 광의 시장: 약 $124B by 2034. “명명된 PAI 제품 시장”($60~80B)보다 넓은 정의(AI를 탑재한 로봇 전반)의 추정으로, 방향성 프레이밍용이다.^[20]
• 앵커 산업 규모: 자동차산업 약 $4.9T (by 2027). PAI 시장이 아니라 PAI가 침투할 대표 물리산업(자동차)의 규모다 — NVIDIA의 “$50조 물리경제”와 같은 최광의 층으로, 왜 판이 큰지의 배경일 뿐 제품 TAM이 아니다.^[20]

⚠ 층 경계: $124B(AI로봇 광의)는 위 $61.19B(명명된 PAI 제품)과 “같은 시장 다른 추정”이 아니다 — 고도가 다르다(광의 ⊇ 협의). $4.9T(자동차 앵커)를 제품 시장 수치와 합산하지 말 것.

왜 지금인가 — 성숙의 3가지 신호

1. 시뮬레이션 학습이 실전 배포로 이어졌다. ETH Zurich(CoRL 2021) 연구는 단일 워크스테이션 GPU에서 4,096개 병렬 환경으로 4족 로봇 보행 정책을 평지 4분 미만, 험지 약 20분에 학습시켰다 — 대규모 병렬 강화학습이 실용 시간 안에 수렴함을 공개 증명했다.^[9]
2. 산업계 배포가 실제로 일어나고 있다. ANYbotics는 산업 검사용 로봇 fleet를 글로벌 배포하며 AWS 위에서 데이터 수집·재학습·재배포 사이클을 돌린다.^[10] TORC Robotics는 자율주행 트럭 개발에서 AWS를 preferred cloud provider로 선정했다.^[11]
3. 플랫폼 사업자들이 판을 깔았다. NVIDIA는 Physical AI를 “다음 산업혁명의 기초”로 규정했고,^[12] AWS는 EC2 GPU·SageMaker·시뮬레이션 파이프라인으로 학습~배포 스택을 제공한다.^[1]

왜 지금 한국인가 — 로봇밀도 세계 1위, 노동인구 급감

한국은 제조 로봇 밀도 1,220대/만명(2024)으로 세계 1위이며 세계 평균 132의 약 9배다(싱가포르 818·독일 449·일본 446).^[17] 이미 세계에서 가장 로봇이 촘촘한 제조 현장이라는 뜻이다.

동시에 생산연령인구(15~64세)는 3,674만(2022)→1,658만(2072)으로 반 이하로 줄어든다(통계청 장래인구추계).^[18] 장비를 더 늘려도 각 공정이 station별 hand-code라 사람 손을 대체하지 못한다 — 제조는 이미 인력 부족이 가장 심한 업종이다.^[19] Physical AI는 “더 많은 로봇”이 아니라 스스로 적응하는 로봇으로 이 격차를 겨냥한다.

AWS 관점 — 왜 AWS 위에서 하는가

Physical AI 워크로드는 시뮬레이션 → 대규모 학습 → fleet 배포/재학습의 파이프라인이고, 각 단계가 AWS의 강점과 맞물린다.

• 시뮬레이션 & 렌더링: NVIDIA Isaac Sim/Isaac Lab을 EC2 G/P 계열 GPU 인스턴스에서 실행 — 로컬 최신 GPU 없이도 대규모 병렬 환경 구동.
• 대규모 학습: SageMaker(Training)·EC2 GPU·AWS Batch로 병렬 RL/모방학습 스케일아웃. 데이터 계층은 S3 data lake + FSx for Lustre(고성능 병렬 파일시스템).^[13]
• fleet 배포·재학습 flywheel: 현장 로봇 → 텔레메트리 수집(S3) → 재학습(SageMaker) → 재배포. ANYbotics·TORC 사례가 이 패턴의 실증이다.^[10][11]
• 비용/보안 프레이밍: 소수의 최신 GPU 워크스테이션을 개인에게 지급하는 대신, 다수 개발자가 필요할 때 원격 GPU를 공유해 비용 효율과 데이터 보안(데이터가 로컬을 떠나지 않음)을 동시에 얻는다.

⚠ AWS는 “Physical AI 시장 규모/TAM” 수치를 공식 발행하지 않는다 — 전략·역량(capability) 관점의 케이스만 제시한다.^[1] 따라서 시장 $ 수치는 위 3rd-party 출처로, “왜 AWS인가”는 아키텍처·사례로 각각 근거를 든다.

왜 AWS인가 (1) — 자동화를 네 겹으로 본다

제조 자동화를 하나로 뭉뚱그리지 않고 네 겹으로 나눠 보면 PAI의 자리가 분명해진다: 약 90%는 결정론적 반복 작업(기존 PLC·teach-pendant 그대로 두는 게 맞다)이고, PAI가 겨냥하는 것은 약 9%의 예외·변동 상황(품종 전환·비정형 파지·이상 대응)이다.^[20] 나머지는 사람 판단과 완전 신규 영역이다. 즉 PAI는 기존 자동화를 갈아엎는 게 아니라 그 위 예외 층을 얹는다.

• 비용구조: pay-as-you-go — 선행 accelerator 구매 없이 학습 버스트에만 크게 지출하고 평시엔 줄인다.
• 보안·거버넌스: HIPAA·FedRAMP 상속, 암호화 수집, 민감 결정은 엣지에서, 모델 버전·성능 모니터링.

왜 AWS인가 (2) — Amazon은 자기 창고에서 먼저 풀었다

AWS의 Physical AI 관점은 이론이 아니라 Amazon 자신이 customer-zero였다는 데서 나온다. Kiva 인수(2012) 이후 Hercules·Xanthus→Pegasus→Proteus(첫 완전자율 AMR)→Sequoia·Titan→Vulcan(촉각 파지)로 이어지며, 2025년 7월 100만 번째 로봇을 배치했다.^[21]

• DeepFleet(로봇 조율 기반모델)로 이동 시간을 10% 단축.^[21]
• 70만 명 reskill, 기존 자산 60%+ 재사용(rip-and-replace 아님).^[21]

왜 AWS인가 (3) — 초기 도입의 하드 ROI

• 생산성: early adopter 20~40%, Amazon FC 약 25% 향상.^[20]
• 안전: 별도 보고된 반복동작 부상 >40% 감소는 job-rotation·에르고노믹스 프로그램의 효과이며, 로봇 배치 자체의 인과 효과로 귀속하지 않는다(⚠ 2026-08-23 재검증).^[20]
• Torc Robotics: 신입 온보딩 1~2주→1일, PB급 센서 파이프라인 (⚠ ‘연 2,080시간 절감’은 공개 미확보 — 삭제 후보).^[20]
• Diligent Robotics: managed cluster로 HPO+fine-tune 가속, 자연어 로봇 제어 (⚠ ‘RL→VLA 전환’ 구체 근거는 공개 미확보 — 삭제 후보).^[20]

각주 (출처 — fetch·200 확인, 2026-08-11 실측)

출처·각주 24건 — 펼쳐서 보기

1. [1] AWS Physical AI Blog, “Physical AI: Building the Next Foundation in Autonomous Intelligence” (2025-12-02). aws.amazon.com/blogs/physical-ai/... — PAI 정의, lights-out manufacturing, Autonomous Economy, 4-level capability spectrum. AWS는 TAM 수치 미발행.
2. [2] Precedence Research (via GlobeNewswire), “Physical AI Market Size to Expand at 31.26% CAGR to Capture USD 61.19 Billion by 2034” (2025-11-25). $4.12B(2024)→$61.19B(2034), 31.26%. 가장 많이 인용되는 “PAI market” 수치.
3. [3] Astute Analytica, “Physical AI Market” (2026-06-24). $3.5B(2025)→$58.1B(2035), 32.4%. 세그먼트 분해 최상(VLA·world model·humanoid 42%·mfg/logistics 38%).
4. [4] Cervicorn Consulting, “Physical AI Market” (2026-07-04). $3.78B(2024)→$67.91B(2034), 33.49%.
5. [5] MarketsandMarkets, “Embodied AI Market” (2025-06). $4.44B(2025)→$23.06B(2030), 39.0%. ⚠ embodied AI의 CAGR은 리서치사별 정의가 크게 갈려 편차가 크다(Congruence 35.8%·OG Analysis 35.0%·TBRC ~18.2%·TBRC opportunities 14.7%). “~39%”는 MnM 기준 상한값. (Grand View 39.7%는 봇차단으로 미검증·인용 제외.)
6. [6] Morgan Stanley, “Humanoid Robot Market ... 5 Trillion by 2050” (2025-05-14). 휴머노이드 로봇 시장 (판매+공급망+서비스, ~10억 대, 90% 산업/상업, 대당 $200K→~$50K). PAI 제품 시장 아님.
7. [7] Jensen Huang, ServiceNow Knowledge 2026 (2026-05-06, CNBC/Yahoo Finance 보도). “$50 trillion”은 PAI가 변혁할 제조·물류·산업 경제 규모(IT·SW 미적용 영역). 제품 TAM 아님. ⚠ GTC 2026 정확 transcript 문구는 접속 불가로 독립검증 실패 — CNBC의 $50T-as-economy 프레이밍만 확인.
8. [8] Goldman Sachs, “The global market for robots could reach $38 billion by 2035” (2024-02-27). 휴머노이드 로봇 시장, ~1.4M 대, 함의 CAGR ≈19.5%.
9. [9] Rudin et al., “Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning,” CoRL 2021, arXiv:2109.11978. ANYmal, 4,096 병렬 환경, 단일 NVIDIA RTX A6000, 평지 <4분·험지 ~20분. 오픈소스(legged_gym/rsl_rl).
10. [10] AWS Robotics Blog, “ANYbotics uses AWS to deploy a global robot workforce for industrial inspections” (2023-11-06). fleet/telemetry/RaaS (EC2·EKS·Lambda·ELB).
11. [11] AWS case study, TORC Robotics. Daimler Truck 자회사, AWS를 preferred cloud provider 선정(2021), Amazon DCV로 원격 GPU 워크스테이션. (⛔ 내부 딜 수치는 non-public이라 인용 금지.)
12. [12] NVIDIA, “Physical AI is here — the next wave of AI and the foundation of the next industrial revolution” (~2026-07-30), and CES 2025 keynote (2025-01-06) — “next frontier”, “ChatGPT moment for general robotics”. (CES 출처엔 달러 TAM 없음.)
13. [13] Amazon FSx for Lustre. fully-managed 고성능 병렬 파일시스템, GPU 워크로드용, S3 DRA 연동. (⚠ Isaac Lab RL 레퍼런스의 AWS Batch MNP 예제 저장계층은 EFS이므로 “Isaac Lab RL = FSx Lustre”로 붙이면 부정확 — FSx Lustre는 일반 GPU 학습 storage로만 인용.)
14. [14] Barclays 리서치 노트(2026-02), CNBC 보도(2026-05-01)로 확인. “The bank estimates the physical AI industry — presently valued at $2 billion to $3 billion — could grow to as much as $1.4 trillion by 2035.” CNBC는 Physical AI를 “robotics to driverless cars”를 포괄하는 넓은 정의로 규정 — 로봇 하드웨어 전체를 담은 정의 outlier(좁은 PAI 제품시장 아님). cnbc.com/2026/05/01/... (2026-08-14 실측 200).
15. [15] Citi GPS, “The Rise of AI Robots” (2025-04). 휴머노이드 로봇 시장 $7T by 2050, 2050년 ~648M 대 가동 가정 — Morgan Stanley $5T와 같은 “2050·넓은 정의” 계열(제품 TAM 아님). citigroup.com/global/insights/the-rise-of-ai-robots (2026-08-16 검색 확인).
16. [16] MarketsandMarkets, “Physical AI Market” (2026-04-03). $0.89B(2025) → $15.24B by 2032, CAGR 47.2%(named physical AI; 산업용 로봇 세그먼트 CAGR 56.7%). 좁은 정의 상단값 — 위 Precedence/Astute(31~33%)보다 공격적. marketsandmarkets.com/Market-Reports/physical-ai-market-240269196.html (2026-08-16 검색 확인).
17. [17] IFR(국제로봇연맹), World Robotics 2025 리포트 / 보도자료(2026-04-08). 한국 제조 로봇밀도 1,220대/만명(2024), 세계 평균 132, 싱가포르 818·독일 449·일본 446. (⚠ 공개 URL 재검증은 preview 감사 단계로 미룸.)
18. [18] 통계청, 장래인구추계 2022–2072(2023-12-14 발표). 생산연령인구(15~64세) 3,674만(2022)→1,658만(2072).
19. [19] Deloitte & The Manufacturing Institute, 2024 Manufacturing Talent Study. 제조 인력난 — 2030년대 초 수십만 건 미충원 전망.
20. [20] AWS Physical AI First Call Deck(내부 세일즈 자료, 2026). $124B(AI로봇 광의, 2034)·$4.9T(자동차 앵커, by 2027)·네 겹 자동화(90/9)·하드 ROI(생산성 20~40%·안전·Torc·Diligent). ⚠ 2026-08-23 재검증: 시장 2건은 공개 1차 출처 확보(AI로봇 Precedence Research·자동차 Allied Market Research, by 2027 정정). 안전 ‘-40%’는 job-rotation·에르고 프로그램의 반복동작 부상 감소로 reframe(로봇 인과 아님), Torc ‘연 2,080h’·Diligent ‘RL→VLA’ 구체치는 공개 미확보(삭제 후보).
21. [21] Amazon(About Amazon 뉴스룸), “100만 번째 로봇” 배치 발표(2025-07) 및 DeepFleet·Vulcan. Kiva→Proteus→Vulcan 계보.
22. [22] Anthropic, “Previewing the Model Hardware Standard” (2026-08-27). research preview · read/write primitives · NL tag→reference file(safety limits) · 3 control(MCP·CLI·code files) · model-agnostic · AWS Strands Robots private pre-release · Doosan Robotics 런치 파트너. anthropic.com/news/model-hardware-standard-research-preview
23. [23] CNBC, “Anthropic pushes into physical world with new standard to help AI agents operate machines” (2026-08-27). MCP 2024 오픈소스 맥락 · USB-C 비유(Anthropic 구두 표현) · research preview→open-source 계획. cnbc.com · 2026-08-27
24. [24] Amazon EC2 P6-B300 (NVIDIA Blackwell Ultra). 서울 리전 출시 = AWS What’s New 2026-08-20 “now available in the Asia Pacific (Seoul) Region” · 8x B300 · 2.1 TB HBM3e · 1800 GB/s NVLink · 6.4 Tbps EFA · vs P6-B200 = 2x networking / 1.5x GPU memory / 1.5x TFLOPS(FP4, w/o sparsity) · FSx for Lustre + GDS 최대 1.2 Tbps · Capacity Blocks for ML / Savings Plans / On-demand. aws.amazon.com/about-aws/whats-new · EC2 P6-B300 (Seoul)

STEP 0 · 큰 그림Physical AI란 무엇인가

한 줄 정의부터. NVIDIA는 Physical AI를 "카메라·로봇·자율주행차 같은 자율 시스템이 물리 세계를 인지·이해·추론하고, 복잡한 작업을 수행하거나 조율하게 하는 기술"이라 부릅니다. 다만 정의만으로는 잘 와닿지 않으니 영상으로 직접 보겠습니다 — 아래 두 데모는 재생/일시정지, 소리 켜기/끄기, 아래 진행바로 원하는 지점 이동이 가능한 플레이어입니다.

지난 10년의 AI는 대부분 화면 안에서 끝났습니다. 텍스트를 쓰고, 이미지를 분류하고, 답을 생성했죠. Physical AI는 그 경계를 넘어 실제 몸을 가진 기계가 현실에서 움직이고 물건을 다루게 만드는 분야입니다. 로봇팔이 "빨간 컵을 집어라"는 말을 알아듣고 실제로 집는 것, 4족 로봇이 처음 보는 창고를 스스로 돌아다니는 것 — 모두 Physical AI입니다.

핵심 차이는 실패의 비용입니다. 챗봇이 틀리면 문장을 다시 쓰면 되지만, 로봇이 틀리면 물건을 떨어뜨리거나 사람을 다치게 할 수 있습니다. 그래서 Physical AI는 "지각(보기) → 판단(결정) → 행동(움직이기)"이 실시간 폐루프(closed-loop)로 돌아가야 하고, 실제 로봇에 올리기 전에 디지털 트윈 시뮬레이션에서 충분히 검증합니다.

그런데 로봇에는 LLM에 없던 출발점의 핸디캡이 하나 있습니다 — 데이터 희소성입니다. 텍스트·이미지는 인터넷에 사실상 무한하지만, "로봇이 실제로 물건을 집어 옮긴" 데이터는 수 자릿수 적습니다. 그래서 이 분야는 아래 데이터 피라미드의 위쪽(값싸고 많은 데이터)을 최대한 활용해 아래쪽(비싸고 귀한 로봇 데이터)의 부족을 메우는 것에서 출발합니다.

인터넷 영상·이미지·텍스트 — 사실상 무한, 값쌈 (일반 상식·물체 지식)

사람 작업 영상 (egocentric) — 많지만 로봇 몸과 다름 (동작·순서 힌트)

로봇 teleop episode — 가장 귀하고 값비쌈 (실제 관절 명령)

규모 감각 (층별 대표 데이터셋) — 인터넷 이미지·텍스트 약 58.5억 pair(LAION-5B) · 사람 작업 영상 3,670시간(Ego4D, 931명·74개 도시·9개국) · 로봇 teleop 약 100만 episode(Open X-Embodiment 합계; 단일 셋은 DROID 76K·RT-1 130K). 단위가 층마다 다릅니다(pair·시간·episode) — 한 축의 정밀 비교가 아니라 자릿수(order-of-magnitude) 규모 비교입니다. 출처: LAION-5B arXiv:2210.08402 · Ego4D arXiv:2110.07058 · Open X-Embodiment arXiv:2310.08864

화려한 데모를 읽는 법 = 세 축 중 무엇이 빠졌나

본격적인 개념에 들어가기 전에, 지금 로봇이 어디까지 왔는지 데모 읽는 눈부터 갖추겠습니다. 대표적인 예로 휴머노이드 Figure 03은 2026년 5월 약 200시간 연속 포장을 라이브로 선보여 화제가 됐습니다. 인상적이지만, 로봇 지능을 이루는 비전(보기) + 언어(추론) + 행동(움직이기) 세 축으로 뜯어보면 공개된 것만으로는 비전과 행동 두 축만 보이고 언어·추론 축은 드러나지 않는 경우가 많습니다 — 균일한 물체를 반복 처리하는 장면이 대표적입니다. (이 세 축을 한 모델에 담으려는 것이 뒤에서 볼 VLA입니다.) 아래 두 영상을 나란히 보세요: 왼쪽은 잘 될 때, 오른쪽은 무너질 때(where it breaks)입니다.

왜 멈췄는지 설명하지 못하고, 처음 보는 물건을 다루지 못하는 로봇은 — 정해진 일을 아주 잘하는 단계일 뿐입니다. 바로 이 언어·추론 축이 규칙에 안 맞는 예외 상황을 스스로 흡수하는 범용성(generalization)의 관건입니다. 데모를 볼 때는 "세 축 중 무엇이 실제로 증명됐나"를 먼저 물어야 합니다.

로봇의 "몸"은 제각각 = embodiment와 형태 분류

로봇팔, 휴머노이드, 4족 보행 로봇은 관절 수도 생김새도 다릅니다. 이 서로 다른 몸을 embodiment라 부르고, Physical AI 연구의 큰 숙제 하나가 "하나의 지능을 여러 embodiment에 어떻게 옮길 것인가"입니다. 크게 manipulator(로봇팔), quadruped(사족), humanoid(휴머노이드), AMR(자율이동로봇)으로 나뉩니다.

로봇은 무엇으로 세상을 느끼나 = 센서

행동하려면 먼저 지각해야 합니다. 로봇은 여러 센서로 세상을 봅니다: 거리를 재는 LiDAR, 색과 깊이를 함께 주는 depth camera(RGB-D), 자기 움직임을 재는 IMU, 접촉힘을 재는 force-torque 센서 등입니다. 이 입력들의 종류를 modality라 부릅니다.

로봇의 두뇌 = policy, 그 최신형 = VLA

로봇이 "지금 상황에서 무엇을 할지" 정하는 함수를 policy(정책)라고 합니다. 강화학습에서 온 용어인데, 관측(observation)을 입력받아 행동(action)을 출력하죠. 최근 몇 년 사이 이 policy를 대형 신경망 하나로 통째로 만드는 흐름이 주류가 됐고, 그 대표가 VLA(Vision-Language-Action) 모델입니다. 카메라 영상(Vision)과 사람 말(Language)을 함께 넣으면 로봇 관절 명령(Action)이 바로 나옵니다.

행동의 전제 = 내가 어디 있는지 알기 (SLAM)

물건을 집든 길을 찾든, 로봇은 먼저 자기 위치와 주변 지도가 있어야 합니다. 그런데 위치를 알려면 지도가 필요하고, 지도를 만들려면 위치를 알아야 하는 순환 문제가 생깁니다. 이걸 확률적으로 동시에 푸는 것이 SLAM입니다. AMR 같은 이동 로봇의 핵심 기술입니다.

현실은 비싸다 = 시뮬레이션과 디지털 트윈

실제 로봇으로 수백만 번 시행착오를 하긴 어렵습니다. 그래서 실제 로봇/환경을 그대로 본뜬 디지털 트윈을 만들어 그 안에서 학습하고 검증합니다. 문제는 시뮬레이션과 현실 사이의 미세한 차이 — 이걸 Sim-to-Real Gap이라 하고, 뒤에서 다시 다룹니다.

• 가격: 4족 보행 로봇 약 $1,600에서 휴머노이드는 추정 $130K대까지 — 대략 100–200배 차이. sim에서는 대수를 늘려도 추가 비용이 0에 가깝습니다. → 비용 상세(바로 아래)
• 구조: 휴머노이드 BOM의 절반가량이 관절(actuator) — sim 속 관절은 마모·고장·교체 비용이 없습니다.
• 규제: 한국은 산업용 로봇에 1.8m 이상 울타리와 KCs 의무안전인증을 법으로 요구합니다(안전 상세(바로 아래)). sim에는 이런 물리 방호·인증 셋업이 필요 없고 사고도 0입니다.

STEP 0.5 · 실물의 현실실물은 얼마나 비싼가 — 비용의 해부 ↑ 위로

"실물은 비싸다"를 숫자로 봅니다. 로봇 한 대의 가격, 그 가격을 구성하는 원가, 그리고 로봇의 두뇌인 edge 컴퓨트 비용까지 — 실물 시행착오가 왜 감당 안 되는지, 반대로 시뮬레이션이 왜 경제적인지의 근거가 됩니다.

① 로봇 한 대 가격 (공개 가격 · 시점 기준)

엔트리 4족(~$1,600)부터 미시판 휴머노이드(추정 상한 ~$320K)까지 대략 100–200배 차이. 가격은 구성·시점에 따라 크게 변동하므로 대략치로 봅니다.

② 원가는 어디로 가나 — 휴머노이드 BOM 분해

가장 비싼 건 "지능"이 아니라 움직이는 관절입니다. 액추에이터(모터+감속기)와 손이 원가의 절반 이상을 차지합니다. 이것이 실물 확장이 어려운 근본 이유이며, 반대로 시뮬레이션 안에서는 관절이 공짜입니다.

원가의 절반을 차지하는 그 부품들을 실물로 봅니다 — 관절을 이루는 감속기·나사·모터, 정밀 로봇 손, 그리고 자세·거리·힘을 재는 센서.

더 깊이 — 왜 로봇 관절(actuator)은 이렇게 비싼가 (펼쳐서 보기)

BOM의 절반가량이 관절로 가는 이유는 “모터 하나 값”이 아니라 정밀 감속기 · 과점 공급 · 희토류 · 규모의 부재가 겹치기 때문입니다. 아래는 sim 논거와는 직접 관련이 없는 하드웨어 심층 참고입니다.

① 정밀 감속기가 관절 원가를 지배한다

관절 하나는 모터 + 감속기 + 엔코더 + 드라이버의 통합 모듈입니다. 이 중 정밀 감속기(하모닉 드라이브 · 유성 롤러 스크루 · 사이클로이드)가 원가를 지배합니다. JP Morgan 추정으로 감속기와 롤러 스크루를 합치면 휴머노이드 BOM의 약 1/3을 차지합니다. 부품 단가는 하모닉 감속기 대략 $420–1,450, 유성 롤러 스크루 대략 $1,350–2,700 수준이고, 휴머노이드 한 대에 이런 정밀 구동부가 수십 개 들어갑니다.

② 과점 공급 — 대체 벤더가 적다

하모닉 스트레인 웨이브 기어 시장은 Harmonic Drive Systems가 대략 85%까지 점유하는 것으로 인용되며, 여기에 Nabtesco(사이클로이드) 등 소수가 더해지는 과점 구조입니다. 대체 벤더가 적으니 가격 협상력이 공급자 쪽에 있고, 정밀 가공 난도가 높아 신규 진입도 느립니다.

③ 희토류 영구자석 — 공급망이 편중돼 있다

고토크 BLDC 모터는 NdFeB(네오디뮴) 영구자석에 의존합니다. 이 공급망은 지역 편중이 큽니다 — 채굴 약 60%, 정련 약 85–90%, 완성 자석 약 90% 이상이 한 지역에 몰려 있어 지정학 리스크와 가격 변동이 원가에 직접 실립니다.

④ QDD vs 기어드 — 설계 트레이드오프

준직결(QDD, quasi-direct-drive)은 감속비를 낮춰 역구동성·충격흡수·제어대역을 얻지만 같은 토크를 내려면 모터가 커지고 비싸집니다. 반대로 고감속 기어드는 토크 밀도가 좋지만 백래시·마찰·역구동성에서 손해입니다. 어느 쪽도 “공짜 점심”이 아니라 원가·성능 균형점을 정밀 부품으로 사야 합니다.

⑤ 규모의 경제가 아직 없다

2025년 휴머노이드 출하량은 대략 1.3만 대 수준으로 추정됩니다. 자동차 부품처럼 연 수백만 개를 찍는 규모가 아니라, 정밀 감속기·액추에이터가 아직 소량·고가 생산 구간에 있습니다. 규모가 커지면 단가는 내려갈 여지가 있지만, 그것이 sim의 논거(관절 마모·충돌·고장 없이 무한 반복)를 바꾸지는 않습니다.

출처: JP Morgan(감속기+롤러스크루 ~1/3 of BOM) · Harmonic Drive Systems 점유율 인용(~85%, directional) · 희토류 공급망 편중(채굴 ~60%/정련 ~85–90%/자석 ~90%+) · 2025 휴머노이드 출하 ~1.3만 대(Omdia/Bloomberg). 부품 단가는 벤더 견적 편차가 큰 추정치입니다.

STEP 0.5 · 실물의 현실실물은 얼마나 위험한가 — 안전 규제의 벽 ↑ 위로

비싼 것만이 문제가 아닙니다. 사람 곁에서 움직이는 로봇은 법으로 방호장치를 갖춰야 합니다 — 울타리·라이트커튼·레이저 스캐너·비상정지·리스크평가·인증. 이 규제 부담이 실물 연구를 느리고 비싸게 만드는 세 번째 축이며, 반대로 시뮬레이션은 이 모든 것이 필요 없습니다.

① 로봇 안전을 규정하는 국제·국내 표준

ISO 10218-1:2025 · 로봇 본체 ISO 10218-2:2025 · 로봇 셀·통합 ISO/TS 15066:2016 · 협동로봇 IEC 61496-2 · 라이트커튼(AOPD) IEC 61496-3 · 레이저 스캐너(AOPDDR) ISO 12100 · 리스크평가 ANSI/RIA R15.06 (미국)

② 한국은 특히 — 울타리 + 광전자식 방호장치가 법정 요구

실물 로봇 셀에 법으로 요구되는 방호장치들 — 광전자식 센서·레이저 스캐너·안전 울타리·비상정지, 그리고 이 모두를 두른 실제 로봇 셀.

여기까지가 실물의 두 벽입니다 — 가격·원가(관절이 원가의 절반, 대당 수만~수십만 달러)와 안전 규제(1.8m 방책·KCs 인증·사고 리스크). 실물로만 시행착오하면 이 두 벽에 그대로 부딪힙니다. 그래서 오늘날 Physical AI는 대부분의 학습과 검증을 먼저 시뮬레이션 안에서 합니다 — 시뮬레이션에서는 관절이 공짜이고, 실패해도 아무도 다치지 않으니까요. 그럼 그 시뮬레이션 위에서 연구는 지금 어디까지 와 있는지 살펴보겠습니다.

STEP 1 · 연구 지형Physical AI 연구는 지금 어디쯤 와 있나

요즘 Physical AI 연구의 중심에는 foundation model(파운데이션 모델) 개념이 있습니다. 언어 모델(GPT류)처럼, 엄청난 양의 로봇 데이터로 한 번 크게 사전학습해두고 특정 로봇/작업에는 조금만 적응시키는 방식이죠. 로봇용 foundation model을 통칭해 RFM(Robot Foundation Model)이라 부르고, 그 중 카메라+언어→행동 구조를 갖춘 것이 앞에서 본 VLA입니다.

필드 전체를 나누는 두 축 = 모델 아키텍처 taxonomy

수많은 모델 이름(GR00T·π·OpenVLA·RT-2…)에 파묻히기 전에, 필드 전체를 나누는 두 개의 상위 축을 먼저 잡아두면 이후가 훨씬 쉽습니다. 대부분의 VLA는 아래 2×2 어딘가에 놓입니다.

나누는 축	한쪽 끝	다른 쪽 끝
망 구조 누가 계획하고 누가 실행하나	Monolithic (단일망) — 하나의 신경망이 인지부터 행동까지 통째로. 단순·end-to-end, 대신 해석·재사용이 어려움. (예: 초기 OpenVLA)	Hierarchical (계층형) — 상위 계획자가 목표를 쪼개고 하위 실행자가 관절을 움직임. 모듈 교체·재사용에 유리.
사고 시스템 추론과 반응을 어떻게 배치	Single-system — 하나의 시스템이 추론과 행동을 함께. 가볍지만 느린 추론이 빠른 제어의 발목을 잡을 수 있음.	Dual-system — 느린 System 2(추론) + 빠른 System 1(행동)을 분리. cascade(순차: S2 → S1)냐 parallel(병렬: 두 주파수로 동시)이냐로 다시 갈림.

행동 전에 생각하기 = 추론형 VLA (embodied chain-of-thought)

VLA가 곧장 행동을 내는 대신, 행동 전에 plan → subtask → 그리퍼 위치 → 대상 물체 위치를 명시적으로 추론하게 하면(embodied CoT) 더 똑똑해집니다. 핵심은 “think carefully”만이 아니라 “look carefully” — 추론을 실제 픽셀·포즈에 grounding해야 효과가 납니다. 언어로만 추론할 때(48%)보다 시각 grounding까지 했을 때(66%)가 결정적이었습니다. 대가는 추론 토큰이 수십 배로 늘어 느려지는 것이라, 몇 스텝마다 한 번만 다시 추론하는 절충을 씁니다. arXiv:2407.08693 (Embodied Chain-of-Thought Reasoning)

행동을 만드는 또 다른 길 = diffusion policy와 world model

VLA만 있는 건 아닙니다. 이미지 생성에서 온 diffusion 기법으로 행동을 뽑는 Diffusion Policy, 그리고 로봇 행동 대신 물리 세계의 미래 자체를 예측/생성하는 World Model(WFM)이 활발합니다. WFM은 시뮬레이션 데이터를 무한히 만들거나 정책을 평가하는 데 쓰입니다.

한 모델이 다 하기 = Omnimodel(옴니모델)

지금까지 본 VLA·WFM는 각자 "입력→행동" 또는 "세계 예측"에 특화돼 있었습니다. 최근에는 이 경계를 지우고 하나의 통합 아키텍처가 텍스트·이미지·영상·소리, 그리고 로봇 행동까지 이해하고 생성하려는 흐름이 있습니다. 이런 모델을 omnimodel(옴니모델)이라 부릅니다. 여러 하위 모델을 이어붙인 파이프라인이 아니라 한 모델·한 잠재공간에서 다 처리한다는 점이 핵심입니다.

모델	만든 곳	무엇인가 · 공개 여부
Cosmos 3	NVIDIA	Physical AI용 대표 omnimodel. NVIDIA 표현으로 "native action generation을 갖춘 omnimodel" — 텍스트·영상·이미지·소리·행동을 한 모델에서 이해·생성하고, 행동은 관절 각도·그리퍼 위치·궤적 점 형태로 낸다. mixture-of-transformers(추론 블록 + 생성 블록) 구조. 공개(open weights), 라이선스 OpenMDW 1.1(상업적 사용 허용). source
Qwen3-Omni	Alibaba (Qwen)	로봇이 아닌 범용 any-to-any omnimodel의 대표 예. 텍스트·이미지·오디오·영상을 하나의 모델로 처리하고 텍스트와 실시간 음성을 출력한다(Thinker-Talker MoE). 행동 출력은 없음 — "omni ≠ 로봇"을 보여주는 대비 사례. 공개, Apache 2.0. source
GPT-4o	OpenAI	"omni"라는 말을 대중화한 모델. OpenAI 공식 GPT-4o System Card가 이 모델을 "autoregressive omni model"이라 명시한다. 텍스트·오디오·이미지 입력을 받아 텍스트·오디오·이미지를 낸다. 비공개(API). 행동 출력은 없는 인지·생성형 omnimodel — 역시 로봇 모델이 아님.
Gemini Robotics	Google DeepMind	참고용 — 같은 세대의 대표 로봇 foundation model이지만 DeepMind는 이를 "omnimodel"이 아니라 VLA·agentic robotics로 포지셔닝한다. "omnimodel"이 모두가 쓰는 표준어가 아니라 아직 벤더별 용어임을 보여주는 예.

모델을 레벨로 지도화 = action 사다리 + world-model 기반층

지금까지 나온 VLA·WAM·WFM 같은 이름들을 하나의 지도에 얹어 봅니다. 핵심은 직교하는 두 축이지 단일 순위가 아니라는 점입니다 — (1) action/embodiment 축(action 출력과 제어 정밀도가 늘어나는 방향: LLM → VLA → WAM → LBM), 그리고 (2) 그 아래 깔리는 world-model 기반층(관찰만으로 세계를 학습하는 self-supervised 축: JEPA → V-JEPA 2 / Cosmos WFM).

왜 단일 라인이 아닌가. VLA는 시각 관찰과 자연어 지시를 받아 action을 직접 냅니다(강한 language grounding). WAM(World Action Model)은 video-diffusion 백본 위에 미래 world state와 action을 공동 예측해 물리 zero-shot 일반화가 정점이지만, 14B 규모의 반복 denoising 탓에 closed-loop 주파수가 최적화 후에도 겨우 ~7 Hz로 가장 느립니다. LBM(Large Behavior Model)은 diffusion-policy 행동복제를 스케일업해 고빈도 dexterous 제어가 정점이지만 native language grounding은 VLA보다 약한 것으로 알려져 있습니다.

기반층은 사다리의 한 단이 아니라 직교 축입니다. JEPA(Joint-Embedding Predictive Architecture)는 픽셀이 아니라 잠재(embedding) 공간에서 예측하는 비생성 방식이고, V-JEPA 2는 이를 비디오로 확장해 <62시간 로봇 비디오만으로 zero-shot 로봇 planning을 보였습니다(데이터 효율 정점). 반면 Cosmos WFM는 픽셀/비디오를 생성하는 world 예측 substrate입니다. 두 방식 모두 그 자체로는 policy가 아니지만, action-conditioning을 얹으면(V-JEPA 2-AC, 또는 video 백본 + action head = WAM) action 축과 수렴합니다.

한눈에 보는 trade-off. language/semantic 능력은 LLM/VLA에서 정점이고 WAM·LBM으로 갈수록 약해집니다. physical zero-shot은 WAM에서, inference 주파수와 dexterity는 LBM에서, 데이터 효율은 V-JEPA 2에서 각각 정점을 찍습니다. 즉 “zero-shot을 올리면 무거워져 느려지고, 주파수를 올리면 language가 약해지는” 교환이 축을 따라 흐릅니다. 아래 표가 레벨 x 축으로 이를 정리합니다.

레벨	대표 논문 (arXiv)	Language grounding	Physical zero-shot	Inference freq	Model size	Data 요구	Action 정밀도	생성 vs 잠재
LLM	(baseline)	최고 (language-only)	0 (action 없음)	N/A (제어 루프 없음)	대~특대	web text	0	N/A
VLA	RT-2 2307.15818 · OpenVLA 2406.09246 · π0 2410.24164	높음 (VLM 상속)	중 (semantic 강, 미학습 물리동작 약)	중 (token decoding 제약; π0는 flow-matching으로 완화)	중~대 (~7B)	web-scale VL + robot demo	중 (discretized → smoothness 제약)	N/A (policy)
WAM	DreamZero 2602.15922 (14B)	중 (video 백본 중심)	최고 (SOTA VLA 대비 >2배↑)	최저 (denoising loop, ~7 Hz)	최대 (14B)	video pretrain + ~30분 few-shot	중~높 (world+action 공동예측)	생성 (video-diffusion)
LBM	TRI LBM 2507.05331	약함 (frozen CLIP 텍스트 인코더, VLM 미상속 — 저자가 "language-steering brittleness" 명시) 2507.05331 §4.2.2/§5.1	제한적 (진성 zero-shot 아님 — multitask pretrain으로 신규 task를 3~5배 적은 데이터로 few-shot 학습) 2507.05331 §3.2/§5	최고 [공개 잠정] (diffusion-policy 고빈도)	소형 (DiT 8블록·dim 768 + CLIP ViT-B/16; 총 파라미터수 [확인 필요]) 2507.05331 §4.2.2 Table 2	robot demo ~1,700시간 (TRI 545h·532 task·64,262 demo + OXE ~1,150h), bimanual Franka FR3 2507.05331 §4.4	최고 [공개 잠정] (dexterous)	N/A (policy, diffusion)
JEPA	LeCun 2022 (OpenReview; arXiv 없음)	0 (자체 language 없음)	— (policy 아님)	N/A (표현 학습)	가변 (백본 크기 의존)	self-supervised 관찰	0 (action head 별도 필요)	잠재 (embedding 예측)
V-JEPA 2	2506.09985 · v1 2404.08471	낮음 (post-hoc LLM alignment)	높음 (2-AC가 두 랩 Franka arm에 zero-shot)	중 (image-goal planning 기반)	대 (ViT-g 계열)	>1M h 인터넷 video + <62h 로봇 video (최고 효율)	중 (planning 기반)	잠재 (feature 예측)
Cosmos WFM	NVIDIA 2501.03575	낮음 (world 예측 substrate)	— (downstream fine-tune로 특화)	N/A (world model)	대~특대	대규모 video curation	N/A (action head는 downstream)	생성 (video 예측)

입문 덱 도식 읽기 — 데모·데이터 희소·로봇 경제학

입문 덱에서 가져와 한국어로 옮긴 네 도식이다. 앞의 서사를 그림으로 받친다: 데모를 어떻게 채점하나, 왜 로봇 데이터가 희소한 입력인가, 왜 지능이 아니라 움직이는 관절이 단가를 지배하나.

모델을 어떻게 비교하나 = 벤치마크와 데이터셋

"이 VLA가 저 VLA보다 낫다"를 말하려면 공정한 시험장이 필요합니다. 표준화된 시뮬레이션 작업 세트를 벤치마크라고 하고, 로봇 조작 쪽에서는 LIBERO, CALVIN, RoboCasa 등이 널리 쓰입니다. 사전학습 데이터로는 여러 연구팀이 로봇 데모를 모은 Open X-Embodiment(OXE)가 사실상 표준입니다.

DoorMan 83%는 Expert Teleop 기준선 80%를 상회. ablation: full texture + dome light → 81~86% SR, dome light 제거 시 15~30%p 하락. 출처: VIRAL arXiv 2511.15200 · DoorMan arXiv 2512.01061 (둘 다 CVPR 2026).

모델	과제	성공률(SR)
GR00T N1.6 (GR1 embodiment)	GR1 Tabletop	80% SR
GR00T N1.7	KITCHEN_SCENE3 / SCENE4	1.0 (5/5), 1.0 (3/3)
VIRAL (RL + visual sim2real)	Pick-and-place	54 cycle 무실패
DoorMan	Door opening	83% SR
π0.5 (openpi)	libero_spatial	0.98 (98/100)
π0.5 (openpi)	libero_object	0.94 (47/50)

어떤 시뮬레이션 환경을 언제 쓰나 — 위 성공률들은 서로 다른 환경에서 나온 값입니다. 대표 환경 넷을 물리 엔진·병렬성·주 용도로 정리하면:

같은 환경은 위 벤치마크에서 통합적으로 사용됩니다 (Isaac Lab에서 학습한 policy를 LIBERO/RoboCasa로 평가하는 식).

환경	물리 엔진	병렬성	주 용도
Isaac Sim / Isaac Lab	NVIDIA PhysX	최대 4,096 env 동시	4족·휴머노이드 RL 학습, whole-body control
LIBERO	MuJoCo (headless EGL)	—	매니퓰레이션 벤치마크 (spatial/object/goal)
RoboCasa	robosuite (MuJoCo)	병렬 rollout	테이블탑 조작 policy 평가
MuJoCo (단독)	MuJoCo	CPU / GPU	경량 물리, 빠른 반복 실험

어떻게 여기까지 왔나 = 모델 계보 타임라인

이름이 쏟아지지만, 최근 VLA는 대체로 하나의 계보를 따라 진화했습니다. 큰 줄기만 잡아두면 새 모델이 나와도 "어느 가지의 후속인지"가 보입니다.

이 흐름에서 특히 cross-embodiment(OXE 이후 흐름)이 2025~26년의 핵심 축입니다. 로봇 한 대에 1만 시간을 쏟는 대신 수십 개 로봇을 먼저 함께 학습해두면 새 로봇에는 소량만 적응시켜도 되는 ROI가 나오기 때문입니다. 또 하나 눈에 띄는 최신 갈래가 Google DeepMind의 Gemini Robotics(2025)입니다.

학습 데이터는 어디서 = 시뮬레이터의 GPU 병렬

로봇 데이터를 대량으로 얻는 가장 현실적인 방법은 시뮬레이션입니다. NVIDIA Isaac Sim과 그 위의 학습 프레임워크 Isaac Lab은 같은 로봇 수천 개를 GPU 한 장에서 동시에 굴려 강화학습 데이터를 폭발적으로 생성합니다. 가벼운 실험에는 MuJoCo, robosuite 같은 CPU 기반 엔진도 많이 씁니다.

시뮬레이션의 함정 = Sim-to-Real Gap

시뮬레이션에서 90% 성공하던 정책이 실제 로봇에서는 30%로 떨어지는 일이 흔합니다. 이 격차가 Sim-to-Real Gap입니다. 그런데 이걸 하나의 덩어리로 보면 어디를 고쳐야 할지 막막합니다 — 실은 성격이 다른 두 개의 갭이 겹쳐 있습니다.

두 개의 갭	무엇이 다른가	증상
Perception gap 보이는 것	렌더링·조명·텍스처·센서 노이즈가 실제 카메라와 다름. 시뮬레이션 이미지가 "너무 깨끗"함.	실제 조명·배경에서 물체를 못 알아봄
Action-dynamics gap 움직이는 것	마찰·질량·접촉·구동기 지연 등 물리·동역학이 실제와 다름. 시뮬레이터가 접촉을 이상화함.	인지는 맞는데 잡다가 미끄러지거나 타이밍이 어긋남

둘을 줄이는 대표 기법도 결이 다릅니다: (1) calibration — 시뮬레이터의 물리 파라미터(마찰·질량 등)를 실측에 맞춰 보정, (2) domain randomization — 외형·물리를 일부러 무작위로 흔들어 실환경을 "또 하나의 변형"으로 흡수, (3) transfer learning — 시뮬레이션으로 사전학습 후 소량의 실제 데이터로 미세조정. perception gap엔 주로 randomization·transfer가, dynamics gap엔 calibration·randomization이 잘 듣습니다.

여기까지가 연구 지형입니다 — foundation model·VLA가 무엇이고, 시뮬레이션 위에서 연구가 어디까지 왔는지 봤습니다. 이제 시선을 ‘연구 전반’에서 ‘내 현장’으로 좁힙니다. 다음 STEP은 이 범용 모델을 내 로봇·내 작업에 실제로 올리는 fine-tuning 실무입니다.

STEP 2 · 내 로봇에 맞추기VLA fine-tuning — 사전학습 모델을 내 로봇에 적응시키기

foundation model은 강력하지만 "범용"입니다. 내 로봇, 내 작업, 내 카메라 각도에 맞추려면 추가 학습(fine-tuning)이 필요합니다. 전형적인 흐름은 세 단계입니다: Pre-training(대규모 사전학습, 보통 이미 되어 있음) → SFT(내 데모로 지도학습) → 필요하면 RFT(환경 보상으로 강화).

데이터는 사람이 만든다 = teleoperation과 모방학습

SFT의 연료는 "정답 시연"입니다. 사람이 VR 컨트롤러나 리더암으로 로봇을 직접 조종해 데모를 모으는 것을 teleoperation(원격조종)이라 하고, 이렇게 전문가 시연을 따라 배우는 방법론 전반을 imitation learning(모방학습), 그 대표적 구현을 Behavior Cloning(BC)이라 합니다. 수집한 데이터는 하나의 episode(=trajectory)로 저장되고, 이 포맷을 표준화하는 대표 도구가 Hugging Face의 LeRobot입니다.

전부 다시 학습하지 않는다 = LoRA / PEFT

수십억 파라미터 모델을 통째로 재학습하면 GPU도 시간도 감당이 안 됩니다. 그래서 일부 파라미터만 건드리는 PEFT(Parameter-Efficient Fine-Tuning) 전략을 씁니다. 그 대표가 원 가중치는 얼려두고 저차원 행렬만 학습하는 LoRA입니다.

강화학습으로 마무리 = reward, PPO / GRPO

시연 모방(BC/SFT)만으로는 사람의 실수까지 따라 배웁니다. 환경이 주는 보상(reward) 신호로 시행착오하며 더 잘하게 만드는 단계가 RFT이고, 알고리즘으로는 PPO가 오래 표준이었고, 최근에는 critic이 필요 없는 GRPO가 급부상했습니다. (인간 선호로 보상 모델을 만드는 RLHF, 그것을 단순화한 DPO는 주로 언어/비전 쪽에서 씁니다.)

PPO는 로봇 강화학습에서 사실상 표준 알고리즘입니다. 핵심 아이디어는 한 문장으로 “직전 정책에서 너무 멀리 점프하지 않고 조금씩, 대신 안정적으로 개선한다”입니다. 왜 “조금씩”이 핵심인지, 그리고 그것을 어떻게 수식 하나로 강제하는지 아래에서 대학생 수준으로 풀어 설명합니다. 관심 없으면 접어두고 넘어가도 됩니다.

더 깊이 — PPO는 왜, 어떻게 안정적으로 학습하나 (펼쳐서 보기)

① 왜 “조금씩”만 움직여야 하나 — 정책 급변 억제

RL에서는 정책이 자기가 학습할 데이터를 직접 만듭니다 — 지금 정책이 방문하는 상태·행동이 곧 학습 데이터입니다. 그래서 한 번의 큰 업데이트로 정책이 망가지면 더 나쁜 데이터를 모아 더 나빠지는 악순환에 빠지고, 되돌아갈 고정 데이터셋이 없어 복구가 어렵습니다. 그래서 PPO는 매 업데이트를 직전 정책 근처(신뢰 구역)로만 제한합니다 — 크게 개선하고 싶지만 큰 스텝은 위험하다는 긴장을 “조금씩 자주”로 푸는 것입니다.

② clip된 목적함수 — ratio 항의 역할

비율 r = π_new(a|s) / π_old(a|s)는 새 정책이 그 행동을 얼마나 더(또는 덜) 선택하게 됐는지, 즉 정책이 얼마나 바뀌었나를 잽니다(r=1이면 그대로). PPO의 목적함수는 L = E[ min( r·A, clip(r, 1−ε, 1+ε)·A ) ] (예: ε≈0.2)입니다. 여기서 clip은 r이 1±ε 범위를 벗어나면 목적함수를 평평하게 만들어(gradient 0) “직전 정책에서 더 멀어지라”는 유인을 지웁니다. 즉 ratio 항이 정책 변화 폭을 측정하고, clip이 그 폭에 상한을 걸어 급변을 막습니다.

③ advantage 항의 역할 — actor–critic

목적함수의 다른 항 A(s,a) = Q(s,a) − V(s)는 “그 행동이 정책의 평균적 행동보다 얼마나 더 좋았나”입니다. A>0면 그 행동 쪽으로 r을 키우고 A<0면 줄입니다 — 즉 advantage가 업데이트의 방향과 크기를 정하고, clip이 그 폭을 제한합니다. 평균(baseline V)을 빼기 때문에 학습이 훨씬 덜 출렁입니다. 이를 위해 두 신경망이 함께 학습됩니다: actor(정책 π)는 행동을 고르고, critic(가치 V)은 baseline을 추정합니다.

수식·설명은 Schulman et al., “Proximal Policy Optimization Algorithms” (arXiv:1707.06347)을 OpenAI Spinning Up(MIT)과 교차검증했습니다. 참고: clip이 KL을 수학적으로 항상 작게 보장하지는 않아, 실무에서는 KL 기반 early-stopping을 덧붙이기도 합니다.

강화학습 더 깊이 — 보상(reward) 설계와 PPO vs GRPO

앞에서 PPO가 “조금씩 안정적으로” 개선한다는 것을 봤습니다. 그런데 RL의 진짜 승부처는 알고리즘보다 보상(reward)을 어떻게 정의하느냐에 가깝습니다. 이 섹션은 (①) 보상 설계의 함정, (②) critic 없이 학습하는 GRPO가 PPO와 무엇이 다른지를 대학생 수준으로 풀어 설명합니다. 관심 없으면 접어두고 넘어가도 됩니다.

더 깊이 — 보상 설계는 왜 어려운가 (sparse vs dense, reward hacking)

① sparse vs dense — 언제 점수를 줄 것인가

가장 정직한 보상은 sparse입니다 — 성공 시에만 +1, 그 외에는 0. 문제는 로봇이 수많은 시도 동안 단 한 번도 성공하지 못해 배울 신호 자체가 안 생기는 것입니다. 그래서 목표까지의 거리가 줄어들 때마다 조금씩 + 주는 dense 보상으로 학습을 유도(reward shaping)합니다. 단, dense는 설계자의 편견을 주입할 위험이 있어 균형이 핵심입니다.

② reward hacking — 점수만 올리고 목표는 안 하는 문제

보상을 잘못 설계하면 로봇은 설계자가 의도한 목표 대신 점수 자체를 해킹합니다 — 예를 들어 “앞으로 이동한 거리”에 보상을 주면 제자리에서 빙글거리며 거리 센서를 속이기도 합니다. 그래서 보상은 달성하고 싶은 결과 그 자체를 재야 하고, 시뮬레이션이 이 신호를 얼마나 충실히 재현하느냐(마찰·접촉·지연)가 곧 학습 품질을 결정합니다.

그래서 “Simulator fidelity is reward fidelity” — 시뮬레이션의 물리 충실도가 결국 보상 신호의 충실도로 직결됩니다. 보상 설계·reward hacking 논의는 OpenAI Spinning Up(MIT)과 Amodei et al., “Concrete Problems in AI Safety”(arXiv:1606.06565)을 교차검증했습니다.

더 깊이 — GRPO는 왜 critic 없이도 되나 (PPO와의 차이)

① PPO의 critic이 하던 일

PPO의 advantage A = Q − V에서 기준선 V(s)(“이 상태의 평균적 가치”)를 별도의 value network = critic가 추정합니다. 이 critic을 학습시키려면 정책망만큼의 연산·메모리가 또 들고, LLM·VLA처럼 모델이 클수록 부담이 커집니다.

② GRPO의 아이디어 — 그룹 평균을 baseline으로

GRPO는 critic을 아예 없앱니다. 대신 같은 상태에서 N개의 rollout을 돌려, 그 그룹 평균 return을 baseline으로 씁니다. 어떤 rollout이 평균보다 잘했으면(advantage > 0) 그쪽으로, 못했으면 반대로 정책을 밀고 당깁니다. 별도 value network가 없어 compute가 줄어, LLM(DeepSeek-R1)과 VLA-RFT에서 급부상했습니다.

수식·설명은 Shao et al., DeepSeekMath(arXiv:2402.03300)을 OpenAI Spinning Up(MIT)과 교차검증했습니다. 참고: 그룹 baseline은 critic보다 분산이 클 수 있어, N을 충분히 키우거나 정규화를 덧붙이기도 합니다.

스스로 점검. 각 질문을 먼저 답해보고 펼쳐서 맞춰보세요.

Q1. BC/SFT로 충분한데 굳이 RL(RFT)을 더하는 이유는?

시연 모방(BC/SFT)은 사람의 실수까지 그대로 따라 배웁니다. 목표를 달성했는지를 직접 채점하는 reward 신호로 시행착오하면, 시연에 없던 더 나은 행동까지 스스로 찾아냅니다. 그래서 BC로 출발점을 잡고 RFT로 마무리합니다.

Q2. PPO가 “조금씩”만 움직이는 것이 왜 중요한가?

RL은 정책이 자기가 배울 데이터를 직접 만듭니다. 한 번의 큰 업데이트로 정책이 망가지면 더 나쁜 데이터를 모아 악순환에 빠지고, 되돌아갈 고정 데이터셋도 없습니다. 그래서 clip으로 직전 정책 근처(신뢰 구역)로만 움직입니다.

Q3. GRPO는 PPO와 무엇이 다른가? 한 문장으로.

PPO는 baseline V(s)를 별도 critic(value network)로 추정하지만, GRPO는 같은 상태의 N개 rollout 그룹 평균을 baseline으로 써 critic을 없앱니다 — 그만큼 compute가 줍니다.

Q4. “reward hacking”이 뜻하는 바, 그리고 시뮬레이션 품질과의 관계는?

로봇이 설계자 의도 대신 점수 자체를 해킹해 엉뚱하게 점수만 올리는 현상입니다. 보상은 원하는 결과 그 자체를 재야 하며, 시뮬레이션이 토크·마찰·접촉을 얼마나 충실히 재현하느냐가 곧 reward의 신뢰도 — 즉 학습 품질을 좌우합니다.

보상을 어디서 얻나 — closed-loop progress awareness

더 깊이 — 매 스텝 진행 점수를 자동으로 얻는 세 가지 길 (closed-loop progress awareness)

GVL — 섞어서 다시 정렬하기. VLM에게 “진행도 몇?”을 그냥 물으면 인접 프레임이 비슷해 단조 증가 숫자만 뱉습니다(시간 상관 함정). 대신 프레임을 뒤섞어 진행 순서대로 재정렬시키면 VLM이 시맨틱 근거를 써야 해 zero-shot value가 크게 좋아집니다. arXiv:2411.04549 (VLMs are In-Context Value Learners)

TopReward — “True” 토큰의 확률을 보상으로. VLM에게 “성공했나?”를 묻고 텍스트 답이 아니라 “True” 토큰의 내부 확률(logit)을 읽어 스칼라 보상으로 씁니다. 학습 불필요·zero-shot. (logit 접근은 self-host VLM에서만 가능합니다.) arXiv:2602.19313 (TOPReward)

VLLR — 정책의 자기 확신. VLM이 매긴 진행도 + 정책 자신의 self-certainty(확신도) + task 보상을 합쳐 dense 보상을 만듭니다. 정책이 스스로 얼마나 확신하는지가 곧 진행 신호가 됩니다. arXiv:2604.00055 (VLLR, Generalizable Dense Reward)

이렇게 매 스텝 진행도를 되먹여 정책을 고치는 것이 closed-loop progress awareness입니다. 세 방식 모두 같은 대상(스텝당 진행 스칼라)을 다르게 볼 뿐 — progress model = reward model = value model.

그 보상을 무엇으로 주나. 성공/실패가 객관적으로 검증되면(도착 여부·조립 완료 등) 결정론적 verifier로 직접 보상을 줍니다 — 이것이 RLVR(RL with verifiable rewards). 그렇지 않은 대부분의 조작 작업은 위 progress model이 대리 판정합니다. 무엇이든 그 보상으로 BC 정책을 RL로 마무리하는 것이 RFT/RLFT입니다. RLVR: arXiv:2411.15124 (Tulu 3). RLVR의 본류는 LLM 추론(수학·코드)이고, 로봇 적용은 성공 판정이 객관적일 때로 한정됩니다.

참고. sparse한 종료 보상만으로 학습한 value가 task progress를 스스로 추적한다는 fleet-scale RL 실증도 있습니다 — 학습된 value가 dense progress를 사실상 공짜로 주는 셈입니다. 다만 2026년 기준 “상업 이용 가능 + 저지연 + open-weight”를 모두 만족하는 progress model은 아직 드뭅니다.

한 번에 여러 스텝을 = action chunking과 flow matching

로봇 제어는 아주 빠른 주기로 명령을 내야 부드럽습니다. 매 순간 무겁게 추론하면 느리니, 한 번의 추론으로 미래 여러 스텝의 행동을 한꺼번에 뽑는 action chunking 기법을 씁니다. 그 행동을 실제로 생성하는 방식으로는 diffusion을 빠르게 만든 flow matching이 GR00T, π0 계열에서 표준이 됐습니다.

새 로봇에 옮기기 = embodiment adapter

같은 지능을 다른 로봇 몸에 옮기려면, 로봇마다 다른 관절 구성을 공통 표현으로 변환하는 작은 신경망 — embodiment adapter(MLP) — 만 fine-tuning하면 되는 경우가 많습니다. 행동 자체를 새로 배워야 할 때만 DiT까지 unfreeze합니다. 이 "왜 MLP만 갈아끼우면 되는가"의 속사정은 바로 다음 STEP에서 모델 내부를 열어 봅니다.

STEP 2.5 · 모델 속을 들여다보기VLA와 WFM의 internal — 두뇌는 어떻게 생겼나

앞에서 VLA를 "카메라+언어→행동" 블랙박스로 봤다면, 이 STEP은 그 상자를 엽니다. 요즘 대표 모델(NVIDIA GR00T, Physical Intelligence π 계열, NVIDIA Cosmos)이 내부에서 어떻게 이해하고·행동을 생성하고·새 로봇에 적응하는지를, 입문자가 따라올 수 있는 구조로 정리합니다. 아래 도식은 개념을 보여주는 외부 이미지(공개 라이선스, 실제 모델 그림 아님)입니다.

두 개의 뇌 = System 2(이해)와 System 1(행동)

GR00T를 비롯한 최신 VLA는 사람의 "느린 사고 / 빠른 반응"에서 아이디어를 빌려 두 시스템으로 나뉩니다. System 2 = VLM: 카메라 영상과 "빨간 컵을 왼쪽에 놓아라"는 언어를 이해하는 부분(느리게, 저빈도). System 1 = DiT: 그 이해를 받아 실제 관절 명령을 빠르게 생성하는 부분(고빈도). 사람이 "무엇을 할지 판단"과 "손을 정확히 움직이기"를 나눠 처리하는 것과 같습니다.

GR00T 내부 = VLM + DiT + 관절 "통역사" MLP

GR00T의 구조를 한 장으로 요약하면: 모든 로봇이 공유하는 공통 뇌(VLM+DiT)와 로봇마다 다른 작은 어댑터(MLP)의 조합입니다. MLP는 로봇의 관절 언어를 모델 내부의 공통 언어(256차원 latent)로 옮기는 통역사 역할만 합니다. 그래서 새 로봇을 붙일 때 무거운 공통 뇌는 그대로 두고 통역사만 새로 학습하면 됩니다(수 시간, 약 $10).

MLP만 갈아끼우면 되는 이유 = freeze / unfreeze 전략

"무엇을 바꾸고 싶은가"에 따라 어느 부품을 학습(unfreeze)하고 어느 부품을 고정(freeze)할지가 달라집니다. GR00T의 3가지 시나리오:

바꾸려는 것	MLP(통역사)	DiT(행동엔진)	VLM(이해)	비용 감각
기존 로봇 + 기존 동작 그대로	유지	유지	유지	학습 불필요(바로 사용)
새 로봇, 기존 동작	학습	freeze	freeze	수 시간, ~$10
새 동작(사전학습에 없던 verb)	학습	학습	freeze	반나절
특수 카메라 모달리티(적외선 등)	학습	학습	LoRA	수 일, 비쌈

핵심 직관: MLP는 로봇이 바뀔 때, DiT는 동작(verb) 자체가 새로울 때 손댑니다. fold·pour·stack 같은 흔한 동작은 이미 사전학습에 있어 MLP만으로 되지만, 용접·저글링처럼 없던 동작은 DiT까지 열어야 합니다. VLM은 극단적 케이스에만 LoRA로 건드립니다.

행동을 만드는 방식 = action chunk와 flow matching

DiT가 한 번에 뱉는 것은 한 스텝이 아니라 미래 여러 스텝의 묶음(action chunk, GR00T N1.6=16, N1.7=40)입니다. 무겁게 추론하는 횟수를 줄이면서 부드러운 제어를 얻는 트릭입니다. 실효 제어 주기 = 추론 Hz × chunk 크기: 예를 들어 π0.5가 Jetson에서 초당 약 10회 추론해도, 한 번에 10 스텝을 뱉으니 로봇은 약 100Hz로 부드럽게 움직입니다. 로봇이 chunk를 실행하는 동안 다음 chunk를 미리 계산합니다(네비게이션이 "앞으로 1km 경로"를 한 번에 주는 것과 같음).

그 chunk를 실제로 생성하는 수학이 flow matching입니다. 가장 직관적인 그림은 이렇습니다: 노이즈 상태에 있는 행동을 놓고, 모델은 "지금 여기서 실제 궤적으로 돌아가려면 어느 방향으로 얼마나 가야 하나"라는 보정 벡터를 예측합니다. 그 벡터를 몇 번 따라가면 노이즈가 곧장 행동으로 펴집니다. diffusion이 노이즈를 조금씩 지우며 지그재그로 데이터에 다가간다면, flow matching은 거의 직선 경로라 훨씬 적은 스텝으로 도달합니다. GR00T·π0 계열이 공통으로 채택했습니다.

왜 flow matching인가 — mode averaging 문제부터 되짚기

flow matching이 왜 빠른지 묻기 전에, 쉬운 길이 왜 실패하는지부터 봅니다. 같은 관측에도 똑같이 유효한 행동이 여럿 있을 때가 많습니다(컵을 왼쪽으로 피하기 또는 오른쪽으로). 모델을 행동 하나로 회귀시켜 제곱오차를 줄이게 하면, 그 유효한 선택지들의 평균에 안착합니다 — 그런데 왼쪽과 오른쪽의 평균은 정면이라, 팔이 컵으로 곧장 들어갑니다. 이것이 mode averaging: 물리적으로 불가능한 중간 행동입니다. (Diffusion Policy 논문 arXiv:2303.04137이 바로 이 지점을 지적합니다.)

Diffusion policy는 행동을 숫자 하나가 아니라 유효 행동의 분포 전체로 모델링해 이를 해결합니다: 노이즈에서 시작해 한 스텝씩 정제(denoise)하므로, 평균이 아니라 왼쪽 또는 오른쪽에 도달할 수 있습니다. 대가는 그 반복의 비용입니다 — 생성이 denoising을 되풀이하는 루프라(원 논문 설정 = 추론 10 스텝, RTX 3080에서 약 0.1초), 명령을 빠른 주기로 내야 하는 로봇에게 action chunk마다 다중 스텝 루프를 도는 것은 부담입니다.

Flow matching은 diffusion의 강점(여전히 분포 전체를 모델링해 multimodality를 유지)은 지키고 느린 부분만 걷어냅니다. 핵심 insight: 구불구불한 denoising 산책 대신, 노이즈 샘플과 데이터 샘플을 직선으로 잇고 그 위를 지나는 일정한 속도(벡터장)를 회귀하도록 학습합니다 — 고정된 vector field를, 학습 중 rollout 없이 simulation-free로(arXiv:2210.02747). 추론에선 그 속도만 따라가면 되고, 경로가 거의 직선이라 범용 ODE solver가 몇 스텝 만에 행동에 도달합니다. Rectified flow는 이를 극단까지 밀어 — 경로를 곧게 펴 단 한 번의 Euler 스텝으로도 충분하게 만듭니다(arXiv:2209.03003). 표현력은 그대로, 계산은 일부만.

이를 공개적으로 실증한 것이 π0입니다: PaliGemma 3B VLM에 flow-matching action expert를 얹어, action chunk(H=50)를 10 integration 스텝으로 뽑고 조작을 최대 50Hz로 구동합니다(arXiv:2410.24164). GR00T와 π0 계열이 flow matching으로 수렴한 이유가 이것입니다 — 큰 모델을 제어 루프를 닫을 만큼 빠르게 만들어 주는 조각이기 때문입니다.

flow matching·chunking·tokenization… 행동을 만드는 방법이 여럿 나왔는데, 이들은 사실 "행동을 무엇으로 표현하느냐"라는 하나의 스펙트럼 위에 놓입니다. 추상(사람 말에 가까움)에서 구체(모터 명령)까지의 사다리로 보면 정리됩니다.

표현 층위	무엇으로 행동을 나타내나	trade-off
추상 — 언어·코드	"컵을 왼쪽에 놓아라" 같은 자연어 서브목표나 호출할 코드/스킬 이름	사람이 읽기 쉽고 재사용 강함. 실제 관절까지는 하위 실행기가 또 필요.
중간 — token·affordance·trajectory	행동을 이산 토큰으로 양자화(예: FAST), 잡을 지점(affordance), 목표 궤적	언어 모델과 궁합이 좋고 안정적. 양자화하면 미세한 연속성이 손실될 수 있음.
구체 — raw action	매 스텝의 관절 각도·속도 같은 연속 실수값 (chunk + flow matching이 여기)	가장 정밀하고 매끄러움. 대신 연속값 예측이 어렵고 고빈도 생성 부담.

π(Physical Intelligence) 계열 = 또 다른 설계 철학

NVIDIA GR00T가 "공통 뇌 + 로봇별 MLP 통역사"로 명시적 분리를 택했다면, Physical Intelligence의 π0 계열은 다른 길을 갑니다. π0는 PaliGemma VLM + flow matching으로 flow matching action 생성을 최초로 대중화했고, 이후 버전이 빠르게 진화했습니다. GR00T식 MLP 어댑터 대신 관절 상태를 VLM에 직접 토큰으로 넣는 통합형이라, 새 로봇 적응 시 GR00T보다 넓은 범위를 학습합니다.

버전	핵심 변화(internal)	입력 프레임	공개
π0 (2024)	PaliGemma + flow matching 최초, 양팔 조작 특화	단일(T=1)	공개
π0.5 (2025)	웹 데이터 co-training → open-world 일반화, 모바일 조작	T=1	공개
π0.6 (2025)	Gemma 3 4B 백본, knowledge insulation(VLM↔action expert gradient 차단)	T=1	미공개
π*0.6 (2025)	+ RECAP: 배포 후 경험으로 스스로 개선(배치 offline RL)	T=1	미공개
π0.7 (2026)	MEM video history — PI 최초 멀티프레임(카메라당 최대 6장)	최대 6	미공개

두 가지 internal 아이디어가 특히 배울 만합니다. Knowledge insulation(π0.6): VLM과 action expert 사이 gradient를 끊어, VLM은 "이해"에만 집중하고 action expert는 "행동"에만 집중하게 합니다(관심사의 분리 → 빠른 학습 + 나은 일반화). RECAP(π*0.6): 로봇이 실행 중 스스로 가중치를 고치는 게 아니라, 경험을 모아 별도 GPU 서버에서 일괄 재학습한 뒤 새 checkpoint를 배포하는 루프입니다.

행동이 아니라 "세계"를 예측 = WFM(Cosmos) internal

WFM(World Foundation Model)은 로봇 행동 대신 물리 세계의 다음 장면(영상)을 생성합니다. NVIDIA Cosmos가 대표인데, 내부는 VLA와 닮았습니다: 언어 백본(Qwen 2.5 7B)이 텍스트를 이해하고, DiT 비디오 엔진이 Gaussian 노이즈에서 시작해 미래 영상을 denoise로 생성합니다. 즉 "행동을 denoise"하는 게 VLA라면, "영상을 denoise"하는 게 WFM입니다.

구분	Cosmos Predict	Cosmos Transfer
역할	텍스트/영상 → 미래 영상 예측(생성)	기존 영상 → 조건부 변환(날씨/환경)
Control 신호	없음	필수(Depth·Edge·Segmentation·HD Map)
구조	언어백본 + DiT	Predict + Control Block(ControlNet 패턴)
fine-tune	LoRA로 가볍게(전체의 1~2%)	DiT 블록 full fine-tune

fine-tuning 원칙도 VLA와 같은 결입니다: DiT만 학습하고 언어/비전 인코더는 고정합니다(도메인 적응엔 그걸로 충분). WFM은 시뮬레이션 데이터를 무한 생성하거나, 자율주행의 희귀 상황(edge case) 영상을 합성하는 데 씁니다.

한 걸음 더 = 세계와 행동을 함께 예측하는 WAM

WFM이 "다음 장면(영상)"만 예측한다면, WAM(World Action Model)은 미래 영상과 로봇 action을 한 모델에서 동시에(jointly) 예측합니다. VLA와의 결정적 차이는 백본입니다: VLA는 LLM/VLM(언어 모델)을 뼈대로 쓰는 반면, WAM은 비디오 생성(video diffusion) 모델을 뼈대로 씁니다. 웹 스케일 영상으로 사전학습한 비디오 모델은 "물체를 밀면 어떻게 움직이는가", "컵이 기울면 내용물이 쏟아지는가" 같은 세계 물리를 이미 알고 있고, 여기에 action을 얹어 학습하면 그 물리 지식이 로봇 정책으로 전이됩니다.

VLA  : [이미지]+[언어] → VLM(언어) 백본 → action head → [action]
WFM  : [이미지]+[언어] → Video Diffusion 백본 → [미래 영상]            (행동 출력 없음)
WAM  : [이미지]+[언어] → Video Diffusion 백본 → [미래 영상] + [action]  (동시 예측)
                                       ↑ 세계 물리 prior가 이미 여기에 있음

구분	VLA (GR00T, π 계열)	WAM (DreamZero)
백본	LLM/VLM (언어 모델)	Video Diffusion (영상 생성 모델)
사전학습 데이터	정적 이미지-텍스트	웹 스케일 비디오
출력	action만	미래 영상 + action 동시
물리 이해	암묵적(언어 prior)	명시적(영상 예측으로 직접)
zero-shot(안 배운 동작)	약함, 데모 의존	상대적으로 강함
대규모 robot 사전학습	필요	불필요(비디오 prior 전이)

대표 사례는 NVIDIA DreamZero(2026-02, 14B, Wan2.1 비디오 백본)입니다. 수천 시간 로봇 데이터 대신 약 500시간 비디오만으로도 처음 보는 동작에서 기존 VLA를 크게 앞섰습니다(unseen task 16% → 40%대). 예측한 미래 영상은 버려지는 부산물이 아니라 다음에 뭘 할지의 목표 이미지이자, 실제 관측이 들어오면 교체돼 오차 누적을 막는 장치로 쓰입니다.

가중치는 나무처럼 자란다 = checkpoint의 tree 관리

VLA 가중치는 한 번에 만들어지지 않습니다. generalist에서 출발해 단계적으로 specialize하며, 각 단계의 checkpoint(가중치 스냅샷)를 보존해 다음 fine-tune의 출발점으로 재사용합니다. 나무의 가지처럼 한 checkpoint에서 여러 방향으로 분기(spin-off)합니다.

세 가지 실무 규칙. (1) chain은 단방향입니다 — 한 번 specialize된 가중치에서 generalist를 "역복원"하는 건 사실상 불가(정보가 덮어써짐, catastrophic forgetting — 새 작업을 배우며 이전 능력을 잊는 현상). 그래서 generalist checkpoint는 반드시 따로 보존합니다. (2) 그래서 학습은 직선이 아니라 가지를 오가는 반복입니다 — 어떤 policy가 특정 동작(verb)에 과적합해 다른 상황에서 무너지면, 그 가지를 더 밀어붙이지 말고 이전(더 general한) checkpoint로 되돌아가 다시 분기합니다. 새 가지는 먼저 가상 환경(sim)에서 학습하고 → 실물/다른 sim 환경에서 검증하고 → 실패 케이스를 모아 다시 sim에서 학습하는 루프를 돕니다(sim2real). (3) 공개된 "open weights"가 chain의 어느 단계인지가 중요합니다 — Stage 1 generalist면 새 로봇에 쓸 수 있지만, Stage 3 데모용 specialist면 그 환경 밖에선 못 씁니다.

왜 loss가 낮아도 성공률이 안 오르나 = IL의 천장

마지막으로 입문자가 꼭 알아야 할 함정. Behavior Cloning(모방학습)으로 VLA를 학습하면, training loss를 7배 낮춰도 실제 성공률이 1mm도 안 움직이는 일이 흔합니다. 과적합이 아니라 covariate shift 때문입니다: BC는 "전문가가 있던 상태"의 행동만 배웁니다. 실행 중 정책이 스스로 조금 어긋나면 데모에 없던 새 상태(전문가가 한 번도 안 가본 분포 = OOD)에 스스로 진입하는데, 그 상태에서 어떻게 회복하는지는 데이터에 없습니다. 회복 신호가 없으니 오차가 누적되고 무너집니다. loss(데모 재현 오차)는 이 문제를 못 잡습니다 — validation loss도 마찬가지입니다(같은 데모 분포에서 뽑았으니까).

더 깊이 — covariate shift가 왜 loss로 안 잡히나 (펼쳐서 보기)

BC는 “전문가가 있던 상태 → 전문가 행동” 쌍만 학습합니다

그래서 학습·검증 loss는 둘 다 같은 전문가 분포에서 뽑은 상태로만 잽니다. 정책이 실행 중 스스로 만들어 내는 새 상태(위 그림의 빨간 궤적)는 이 분포 밖(OOD)이라, loss 계산에 아예 등장하지 않습니다. val loss가 좋아도 실전 성공률을 예측하지 못하는 이유입니다.

처방은 “더 좋은 val set”이 아니라 정책이 실제로 방문하는 분포를 학습에 넣는 것입니다 — DAgger(정책이 간 상태에 전문가 라벨 추가), on-policy 데이터, RFT(강화 미세조정). 아래 흐름이 바로 그 순서입니다.

용어 — “covariate”가 맞습니다(“covariant” 아님). covariate(공변량)는 통계에서 모델의 입력 변수를 뜻합니다. 여기서 입력은 로봇이 처한 상태(state)이고, “shift”는 학습 때 본 상태 분포와 배포 때 실제로 마주치는 상태 분포가 어긋나는 것을 말합니다 — 정답(전문가 행동)을 내는 규칙 자체는 그대로인데 입력 분포만 바뀌는 것이 핵심이라 “covariate” shift라고 부릅니다. 한편 “covariant”(공변)는 텐서·미분기하에서 좌표 변환에 관한 전혀 다른 용어입니다 — 발음이 비슷해 자주 잘못 쓰지만 이 맥락에서는 covariate가 정확한 표기입니다.

근거. BC의 이 오차 누적(compounding error)을 정식화하고 그 처방으로 DAgger를 제시한 정본 논문: Ross, Gordon & Bagnell, “A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning,” AISTATS 2011 (arXiv:1011.0686). 오차가 시간 지평 T에 대해 최악의 경우 T²에 비례해 누적될 수 있음을 보인 것이 이 논문입니다.

바로 이 지점이 왜 IL(모방)만으로는 부족하고 DAgger·RL이 필요한가에 대한 답입니다. 세 가지는 경쟁 기법이 아니라 같은 문제를 점점 더 강하게 푸는 한 흐름입니다:

여기까지 모델의 속을 열어 봤습니다 — VLA·world model의 두뇌 구조와, 그것이 어떻게 학습되는지. 이제 시선을 두뇌에서 몸으로 옮깁니다. 다음 STEP은 그 지능이 올라타는 로봇 자체를 다루는 언어입니다 — 구조를 어떻게 기술하고(URDF/USD) 어떻게 제어하는지(FK·IK).

STEP 3 · 로봇을 다루는 개념로봇을 "만들고 움직이는" 언어 배우기

101의 목표는 로봇을 실제로 조립하는 게 아니라, 로봇을 다룰 때 반드시 만나는 개념과 용어를 이해하는 것입니다. 이 절에서는 로봇의 구조를 어떻게 기술하고(URDF/USD), 어떻게 제어하며(EEF/FK·IK/제어 계층), 무엇을 보고 느끼는지(ego view/proprioception)를 정리합니다.

로봇의 뼈대를 글로 쓰기 = URDF

로봇의 물리 구조 — 어떤 부품(link)이 어떤 관절(joint)로 연결되고 무게와 충돌 형상이 어떤지 — 를 XML로 적은 표준이 URDF입니다. 관절 개수는 그 로봇의 자유도(DoF)를 결정합니다. ROS 생태계의 사실상 표준이고, 시뮬레이터에 로봇을 올릴 때 입력이 됩니다.

NVIDIA Isaac Sim 같은 최신 파이프라인에서는 URDF를 더 풍부한 3D 씬 표준인 OpenUSD로 변환해 렌더링·물리 시뮬레이션에 사용합니다.

손끝을 어떻게 움직이나 = EEF, FK와 IK

로봇팔 끝에서 실제로 물건을 잡는 부분이 end-effector(EEF) — 그리퍼나 손입니다. 관절 각도로부터 손끝 위치를 구하는 것이 forward kinematics(FK), 반대로 "손끝을 여기로" 지정하면 관절 각도를 역산하는 것이 inverse kinematics(IK)입니다. IK는 해가 여러 개일 수 있는 게 특징입니다.

제어에도 층이 있다 = 계층 제어와 제어 주기

로봇 제어는 보통 두 층으로 나뉩니다. "어디로 갈지/무엇을 할지"를 낮은 빈도로 정하는 high-level policy와, 그것을 실제 관절 명령으로 빠르게 바꾸는 low-level policy입니다. 이 갱신 빈도를 control frequency(제어 주기, Hz)라 하고, 보통 low-level이 훨씬 빠릅니다(예: 걷기 제어 50Hz+, 상위 판단 5~10Hz).

로봇은 무엇을 보고 느끼나 = 관측(modality)

로봇이 받는 입력에는 여러 종류(modality)가 있습니다. 카메라 영상, 언어 지시, 그리고 자기 관절 각도/속도 같은 내부 감각 — proprioception입니다. 특히 조작 학습에서는 로봇 손목/1인칭 카메라 시점인 ego view가 결정적입니다. 손 근처를 정밀하게 봐야 정확히 집을 수 있으니까요.

STEP 4 · 그래서 어디서 돌리나AWS의 역할 — 데이터부터 학습·배포까지

지금까지는 벤더 중립적으로 개념을 봤습니다. 이제 현실적인 질문입니다: 이 무거운 시뮬레이션과 학습을 어디서 돌리나? Physical AI 워크로드는 (1) 시뮬레이션/데이터 생성, (2) VLA fine-tuning 학습, (3) 추론·엣지 배포 모두 GPU와 대용량 스토리지를 크게 먹습니다. AWS는 이 세 단계를 관리형 서비스로 연결합니다.

그래서 — 실물 셀 vs 시뮬레이션 (앞의 실물 현실이 곧 sim 논거)

AWS가 보는 Physical AI = 서로 맞물린 6개 capability (flywheel)

STEP 0~3에서 개념을 봤다면, STEP 4는 그것을 AWS 위에서 어떻게 돌리는가입니다. AWS는 Physical AI를 서로 맞물린 6개 capability로 정리합니다(2025-12 공식 블로그 Building the Next Foundation, David Randle 외). 핵심은 이 여섯이 한 번 흐르고 끝나는 파이프라인이 아니라 계속 도는 flywheel이라는 점입니다 — 엣지에서 로봇이 실제로 움직이며 만든 운영 데이터가 다시 데이터 수집(C1)으로 되돌아와, 모델이 갈수록 똑똑해지는 continuous learning cycle을 만듭니다. AWS는 이 순환을 두 루프로 봅니다: 클라우드의 Training Loop(수집·저장·이해·시뮬/학습)와 엣지의 Autonomy Loop(실시간 추론·제어).

C1Connect & Digitize

IoT CoreKinesis VideoIoT SiteWise

C2Store & Structure

S3AWS Glue

C3Segment & Understand

ComprehendRekognitionGround Truth

C4Simulate, Train & Optimize

AWS BatchEC2 GPUSageMakerFSx Lustre

C5Deploy & Manage

SM EndpointsCodePipelineCloudWatch

C6Edge Inference & Ops

IoT GreengrassIoT CoreOutposts

■ C1–C4 Training Loop (cloud)■ C5–C6 Autonomy Loop (edge)

C1Connect & Digitize the Physical World

물리세계의 상태를 센서·카메라·LiDAR·IoT로 포착해 디지털 신호로 바꾸는 출발점. 1D 스트림, 2D 영상, 3D 포인트클라우드, 그리고 OT·자산관리 시스템의 메타데이터까지 다중모달로 수집합니다.

경계 — 원천 수집만. 저장(C2)과 의미 해석(C3)은 다음 단계.

대표 서비스: IoT Core, Kinesis Data Streams, Kinesis Video Streams, IoT SiteWise

C2Store & Structure Data

수집한 데이터를 저장·구조화합니다. 저지연 센서 스트림은 엣지 모델로 곧장 보내고, 상위 추론용 데이터는 클라우드의 knowledge graph·기업시스템(ERP·CRM·PLM 등)과 연결하는 dual-pathway 구조.

경계 — 저장·구조 설계까지. 라벨링·의미 부여(C3)는 별도.

대표 서비스: S3, AWS Glue, DynamoDB, Aurora, Spatial Data Management on AWS(SDMA), VAMS

C3Segment & Understand Data

raw 멀티모달 데이터를 정제·변환·리샘플링하고, knowledge graph로 데이터 간 ontology 관계를 세워 AI가 읽을 수 있는 형태(AI-ready insight)로 바꿉니다. 매뉴얼을 RAG로 연결하거나 3D 에셋을 카탈로그화하는 일도 여기.

경계 — 데이터를 ‘이해 가능’하게 만드는 데까지. 모델 학습(C4)은 아님. 현재 AWS 공개자산 0건 — 보강 1순위.

대표 서비스: Amazon Comprehend, Amazon Rekognition, SageMaker Ground Truth, AWS Glue, Amazon Neptune

C4Simulate, Train & Optimize Models

시뮬레이션·디지털트윈으로 위험 없는 학습 환경을 만들고, 합성데이터 생성 · 모델 학습/fine-tuning · 엣지 배포용 최적화까지 수행합니다. 클라우드 Training Loop의 핵심으로, 단순 3D부터 world physics model, 고정밀 엔지니어링 시뮬(CFD·FEA)까지 아우릅니다.

경계 — 모델을 만들고 최적화하는 데까지. 실제 배포(C5)·엣지 추론(C6)은 다음.

대표 서비스: AWS Batch, EC2, FSx for Lustre, ParallelCluster, PCS, SageMaker Training, Bedrock AgentCore, Strands Agents, EKS/ECS · Solutions: SOCA, EDH

C5Deploy & Manage Autonomous Systems

학습·검증을 마친 모델과 정책을 로봇 fleet에 배포하고, OTA 업데이트 · 정책/펌웨어 · 보안을 지속 관리합니다. 네트워크가 끊겨도 동작하고, 다시 연결되면 업데이트를 받고 상태를 보고하도록.

경계 — 배포와 운영관리까지. 실시간 추론 실행 자체는 C6.

대표 서비스: SageMaker Endpoints, SageMaker MLOps, CodePipeline, CloudWatch, IoT Greengrass, IoT Device Management, Systems Manager

C6Edge Inference & Operations

엣지에서 네트워크 의존 없이 실시간 추론·제어를 실행합니다. 충돌 회피·비상 정지처럼 밀리초가 중요한 판단을 온디바이스로 처리 — 엣지 Autonomy Loop.

경계 — 실시간 온디바이스 추론·작동까지. 여기서 나온 운영 데이터가 다시 C1으로 되먹임되며 flywheel을 닫습니다.

대표 서비스: IoT Greengrass(오프라인 로컬 추론), IoT Core, Amazon Leo, Local Zones, Outposts

각 capability를 어떤 공개 자산으로 손대볼 수 있는지는 아래 AWS Physical AI 공개 자산 섹션에서 카드별 capability 태그로 확인하세요. 현재 공개자산은 C4(시뮬·학습)에 몰려 있고 C3(데이터 이해)·C2(저장·구조)는 비어 있어 — 다음에 채울 우선순위입니다.

C5 심화 — 대량 fleet 배포에서 ‘직접 만들기’가 답이 아닌 세 지점

C5(Deploy & Manage)를 로봇 한 대가 아니라 1만 대 이상 fleet에 적용하면 판단 기준이 바뀝니다 — ‘관리형이라 편하다’가 아니라 직접 만들면 정확히 어디서 깨지는가입니다. 아래 세 지점은 모두 공개 AWS 문서·서비스 할당량에 있는 사실이고, 그림으로 먼저 봅니다. 실제 API knob 이름과 서울 리전 요금은 맨 아래 접힌 참고에 두었습니다.

참고 — 실제 API knob 이름 · 서울 리전 요금 · 조정 불가 한도 (펼쳐서 보기)

위 세 그림의 실제 knob 이름입니다(문서에 있는 그대로). 단계 배포 = jobExecutionsRolloutConfig.exponentialRate(baseRatePerMinute · incrementFactor · rateIncreaseCriteria). 중단 = abortConfig.criteriaList[](failureType · minNumberOfExecutedThings · thresholdPercentage). 되돌림 = Greengrass deploymentPolicies.failureHandlingPolicy(기본값 ROLLBACK). 장치에게 지금 되는지 묻기 = componentUpdatePolicy = NOTIFY_COMPONENTS + timeoutInSeconds. 방화벽 뒤 접속 = Secure tunneling, 장치는 아웃바운드 443(WSS)으로만 나가고 토큰은 예약 MQTT 토픽으로 받습니다. 대량 fleet 검색 = Fleet indexing (SearchIndex · GetStatistics · GetPercentiles).

요금은 기능마다 미터가 다릅니다 — 하나의 ‘IoT 요금’은 없습니다. Greengrass는 장치 수 × 월, Jobs는 장치 하나에 보낸 원격 작업 1건 = 과금 1건(작업 하나로 100대에 보내면 100건), Secure tunneling은 터널 1개당, Fleet indexing은 색인 갱신 1 KB 단위입니다. 서울 리전 조회값(AWS Price List API · 2026-09-01): Greengrass $0.18/장치·월 · Jobs $0.0036/건(월 25만 건 초과분 $0.0018) · 터널 $1.2/개 · 색인 $2.70/백만 건. 공개 pricing 예시가 us-east-1 기준이라 그대로 쓰면 서울에서는 10~20% 낮게 잡히고, 배수가 미터마다 달라(1.125~1.2) 한 숫자로 환산하면 틀립니다. 설계 단계에서 볼 것은 금액이 아니라 재시도가 곧 과금이라는 구조입니다 — AWS 문서가 중단 기준을 걸라고 권고하는 이유가 여기 있습니다.

규모에 맞는 학습 인프라 (권장 패턴)

Physical AI에서 흔히 하는 오해가 "무조건 대형 클러스터"입니다. 실제로는 데이터 규모와 학습 시간에 따라 다른 서비스가 정답입니다(3B 파라미터급 VLA 기준, GR00T N1.6/N1.7 검증).

핵심 구성요소: 시뮬레이션·학습용 EC2 G/P GPU 인스턴스(G5/G6e/G7e/P5), 로봇 에셋과 체크포인트를 여러 인스턴스가 공유하는 EFS/FSx for Lustre, 컨테이너 이미지를 담는 ECR, 데이터 레이크 S3. Isaac Sim 같은 시각화 무거운 워크로드에는 RTX PRO 6000(96GB) 기반 G7e가 적합합니다.

규모의 증거 = Amazon은 이미 100만+ 로봇을 직접 운영한다

"대규모로 돌린다"는 게 추상적으로 들릴 수 있으니, 가장 큰 실사례를 보겠습니다. Amazon은 자사 물류센터(FC)에서 100만 대가 넘는 로봇을 운영합니다(2025년 7월 기준, 300+ 시설). 그리고 이 로봇들은 대부분 Amazon이 직접 만든 것입니다 — 아래는 FC의 공정 흐름과, 각 단계에서 실제로 일하는 대표 로봇들입니다(모두 공개 자료).

먼저 FC의 전체 공정 흐름입니다. 주문이 오기 전(공급 push)과 후(수요 pull)로 나뉩니다:

아래는 이 흐름의 순서대로 각 단계에서 실제로 일하는 대표 로봇입니다. 각 영상의 배지가 위 파이프라인의 단계와 연결됩니다.

그런데 진짜 핵심은 로봇 한 대가 아닙니다. 위 모든 단계를 관통해 이 100만 대를 하나의 조율 AI로 묶는 DeepFleet이 그 위에 있습니다.

단계 1–7 전체조율 · DeepFleet

위 로봇들은 이미 양산 배치돼 돌아가는 것들입니다. 그 너머에 아직 시험(PoC) 단계의 프런티어도 있습니다 — 대표적으로 이족보행 휴머노이드입니다.

frontierPoC · 미양산

현실을 sim으로 — Digital Twin 파이프라인과 AWS 학습 인프라

고객 사례 — Physical AI를 AWS에서 (공개 자료 기준)

AWS의 Physical AI 공개 자산 — QR로 바로 열기

이 문서를 넘어 실제로 손을 대볼 때 출발점이 되는 공개 자산입니다. 전부 로그인 없이 열리는 public 자료 — 먼저 개요로 전체 지형을 잡고, 각 자산의 capability 태그로 어느 단계에 쓰는지 가늠한 뒤, 바로 배포 가능한 코드로 손을 대세요. 각 카드의 QR을 스캔하면 바로 열립니다.

물리 세계로 나아가는 표준 — Anthropic Model Hardware Standard(MHS)와 AWS Strands Robots

2026-08-27, Anthropic이 Model Hardware Standard(MHS)의 research preview를 열었습니다: AI 에이전트가 물리 장치(현미경·liquid handler·로봇 팔)를 안전하게 조작하고 여러 대를 병렬로 오케스트레이션하게 하는 공유 규격입니다. MCP가 데이터·도구에 한 일을 하드웨어에 대해 하는 짝이라고 볼 수 있습니다 — Anthropic은 2024년 MCP를 오픈소스로 공개했고, MHS를 CNBC에는 기계용 USB-C 케이블에 비유했습니다(규격 주장이 아니라 비유입니다). MHS는 model-agnostic이며 어떤 agent harness든 MCP 같은 표준 프로토콜로 접근합니다.^[22][23]

동작 방식은 표준화된 드라이버입니다 — OS와 장치를 작은 primitive 집합으로 번역하는 소프트웨어로, read(예: get temperature)와 write(set temperature)가 그것입니다. 각 장치는 표준 포맷으로 discoverable해져, 사이에 맞춤 translator 없이 에이전트와 장치가 서로를 찾습니다. 자연어 태그(사용자가 직접 쓰거나, 셋업을 인터뷰하는 에이전트가 작성)가 그 장치의 측정 가능·조정 가능 항목과 강제될 안전 한계(safety limits)를 담은 reference file을 생성합니다. 그다음 에이전트는 세 가지 메커니즘(MCP·커맨드라인·code files/APIs)을 함께 써서 하드웨어를 제어하며, 순서를 짜고 결과를 관측해 실시간으로 파라미터를 조정합니다. 보통 주~개월 걸리던 통합이 시간~분으로 줄어듭니다.^[22]

AWS의 자리: Anthropic 발표문은 “Amazon Web Services will support MHS through Strands Robots, the library for connecting AI agents to physical devices”라고 밝히고, preview 참가자에게 research preview 기간 동안 Strands Robots의 private pre-release 버전을 제공한다고 했습니다. 이는 위 ecosystem 섹션의 오픈소스 strands-labs/robots(Apache-2.0)와 직접 이어집니다 — 다만 공개 패키지 자체는 MHS를 언급하지 않으며, MHS 지원 빌드는 별도의 private pre-release입니다. AWS 관점에서 이 말은, 시뮬레이션과 VLA fine-tuning을 돌리던(STEP 4) 같은 계정이 Strands를 통해 실제 계측기까지 하나의 에이전트로 구동할 수 있다는 뜻입니다.^[22]

한국 제조에는 더 가깝습니다: Doosan Robotics(한국)가 MHS 런치 파트너로, 로봇 팔에서 자동 품질검사(QA)와 다중 로봇 협조에 MHS를 테스트하고 있습니다(Universal Robots·Tecan·QIAGEN 등과 함께). 한 가지 정직한 한계는 남습니다: Claude는 물리세계를 텍스트·이미지로 배우므로 공간·물리 추론에는 전문가 감독이 여전히 필요합니다 — Anthropic은 Genentech 연구진이 시료의 foaming이 소프트웨어 버그가 아니라 물리적 실패임을 Claude에게 가르쳐야 했던 예를 듭니다. MHS는 오늘 기준 research preview이며, 오픈소스화가 예정되어 있습니다.^[22]

(내부 참고: BDSA knowledge base의 knowledge/pai/concepts/training/pai-finetuning-aws-best-practice.md, knowledge/pai/references/aws-pai-toolchain-wwso.md에 규모별 인프라 결정과 툴체인 상세가 정리되어 있습니다.)

마무리 — 아직 안 풀린 것들

여기까지 왔다면 Physical AI가 어떻게 작동하는지는 대략 잡혔을 겁니다. 마지막으로, 이 분야가 아직 풀지 못한 문제를 다섯 갈래로 묶어 둡니다. 데모 영상이나 논문을 볼 때 "이건 어느 갈래의 진전인가"를 가늠하는 격자로 쓰면 좋습니다. (활발한 연구 분야라 아래 지형은 계속 바뀝니다.)

갈래	핵심 질문	지금의 벽
Representation 무엇을 학습하나	행동을 어떤 형태로 표현해야 잘 배우고 잘 옮겨지나 — raw action이냐, chunk냐, 언어/코드냐.	표현마다 정밀도·일반화·속도의 trade-off가 다르고, 아직 정답 표현이 없음.
Execution 어떻게 실행하나	느린 추론(System 2)과 빠른 제어(System 1)의 주파수 불일치를 어떻게 메우나.	큰 VLA는 무거워 on-robot 실시간이 어렵고, cloud로 빼면 지연·연결 문제가 생김.
Generalization 얼마나 옮겨지나	한 로봇·한 환경에서 배운 걸 다른 몸(embodiment)·새 물체·새 장면으로 얼마나 옮기나.	Sim-to-Real 갭과 cross-embodiment 전이는 여전히 미해결 프론티어.
Safety 믿고 맡길 수 있나	물리적으로 힘을 쓰는 로봇이 사람·환경에 위험하지 않게 행동한다고 어떻게 보장하나.	실패가 물리 피해로 직결됨. 전용 survey가 따로 나올 만큼 독립 난제.
Dataset & Eval 어떻게 재고 비교하나	학습 데이터를 어떻게 충분히 모으고(teleop은 비쌈), 모델을 어떻게 공정히 비교하나.	loss로는 성공을 못 잼 — 벤치마크·rollout 성공률도 아직 표준화 진행 중.

용어 지도 (클릭하면 해설로 이동)

용어 해설 + 예시