로봇 학습

실제 환경에서 적응력을 높이기 위해 시뮬레이션에서 로봇 정책을 훈련합니다.

Boston Dynamics

워크로드

가속 컴퓨팅 도구 및 기법
데이터센터 / 클라우드
로보틱스
시뮬레이션 / 모델링 / 설계

산업

헬스케어 및 생명 과학
제조
소매 / 소비재
스마트 시티/공간

비즈니스 목표

혁신
투자 수익률

제품

NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Jetson AGX
NVIDIA Omniverse

범용 로봇 정책 구축

사전 프로그래밍된 로봇은 특정 반복 작업에 유용할 수 있지만, 한 가지 치명적인 단점이 있습니다. 이 로봇은 설정된 환경 내에서 정해진 명령을 사용하여 작동하기 때문에 예상치 못한 변화에 대한 적응력이 제한됩니다.

AI 기반 로봇은 시뮬레이션 기반 학습을 통해 기존의 한계를 극복하며, 동적 환경에서 자율적으로 인식, 계획, 행동할 수 있습니다. 이 로봇은 학습된 정책(탐색, 조작 등을 위한 다양한 행동 세트)을 활용해 새로운 기술을 습득하고 정교화하며, 이를 통해 실제 환경에 배포되기 전 다양한 상황에서 의사결정 능력을 향상시킵니다.

시뮬레이션 기반 로봇 학습의 이점

유연성 및 확장성

‘시뮬레이션 우선’ 접근 방식은 수백 또는 수천 개의 로봇 인스턴스를 동시에 훈련할 수 있도록 합니다. 개발자는 실제 로봇이 캡처한 데이터와 시뮬레이션 환경의 합성 데이터의 다양한 데이터 소스를 사용하여 실제 시나리오에 맞는 로봇 정책을 반복, 개선, 배포합니다. 이는 자율 이동 로봇(AMR), 로봇 팔, 휴머노이드 로봇과 같은 모든 로봇 구현에 적용 가능합니다.

가속화된 기술 개발

물리적으로 정확한 시뮬레이션 환경에서 로봇을 훈련하여 새로운 작업 변화에 적응력을 높이고, 물리적 로봇의 하드웨어를 재프로그래밍하지 않고도 시뮬레이션과 실제 환경의 격차를 줄일 수 있습니다.

안전한 검증 환경

사람의 안전을 해치거나 장비를 손상시키지 않고 잠재적으로 위험한 시나리오를 테스트합니다.

비용 절감

대량의 합성 데이터를 생성하고, 시뮬레이션에서 학습된 로봇 정책을 검증하여 로봇에 더 빠르게 배포함으로써 실제 데이터 수집 및 라벨링 비용의 부담을 덜 수 있습니다. 

로봇 학습 알고리즘

모방 학습이나 강화 학습과 같은 로봇 학습 알고리즘은 로봇이 학습된 기술을 일반화하고, 변화하는 환경이나 새로운 환경에서 성능을 향상시키도록 지원할 수 있습니다. 다음을 포함한 여러 가지 학습 기법이 있습니다:

  • 모방 학습: 로봇은 인간이나 다른 로봇의 작업 시연, 또는 원하는 동작을 수행하는 에이전트의 영상이나 센서 데이터를 통해 학습할 수 있습니다.
  • 강화 학습: 로봇이 수행하는 행동에 따라 보상이나 벌칙을 받는 시행착오(trial-and-error) 접근 방식입니다.
  • 지도 학습: 로봇은 레이블이 지정된 데이터를 사용하여 특정 작업을 학습하도록 훈련할 수 있습니다.
  • 자기 지도 학습: 레이블이 지정된 데이터세트가 제한되어 있을 때, 로봇은 레이블이 지정되지 않은 데이터에서 자체 학습 레이블을 생성하여 의미 있는 정보를 추출할 수 있습니다.

로봇 학습 및 적응 훈련

일반적인 엔드투엔드 로봇 워크플로우에는 데이터 처리, 모델 훈련, 시뮬레이션 검증, 실제 로봇 적용 단계가 포함됩니다.

데이터 처리: 데이터 격차를 해소하기 위해, 인터넷 규모의 데이터, 합성 데이터, 실제 로봇 데이터를 결합한 다양한 고품질의 데이터 세트를 활용합니다. 

시뮬레이션 상황에서의 훈련 및 검증: 로봇은 특정 작업을 위한 시나리오에 맞게 훈련 및 배포되어야 하며, 현실 세계의 조건을 정확하게 반영하는 가상 환경이 필요합니다. NVIDIA Isaac™ Lab은 로봇 학습을 위한 오픈 소스 프레임워크로, 강화 학습과 모방 학습 기법을 모듈형 방식으로 사용하여 로봇 정책을 훈련하는 데 도움이 될 수 있습니다. 

Isaac Lab은 NVIDIA Omniverse™ 플랫폼을 기반으로 구축된 레퍼런스 로봇 시뮬레이션 애플리케이션인 NVIDIA Isaac Sim™과 기본적으로 통합되어 있으며, GPU 가속 NVIDIA PhysX® 물리 엔진 및 RTX™ 렌더링을 사용하여 높은 정확도의 검증을 지원합니다. 이 통합 프레임워크를 통해, 실제 시스템에 배포하기 전에 경량 시뮬레이션 환경에서 정책의 프로토타입을 신속하게 구축할 수 있습니다.

실제 로봇에 배포: 훈련된 로봇 정책과 AI 모델은 자율 작동에 필요한 성능과 기능적 안전성을 제공하는 로봇 탑재형 컴퓨터인 NVIDIA Jetson™에 배포될 수 있습니다.

로봇을 위한 모방 학습 및 강화 학습

모방 학습

모방 학습은 휴머노이드 로봇이 전문가 시연을 복제하여 새로운 기술을 개발할 수 있도록 하지만, 실제 데이터세트를 수집하는 것은 비용이 많이 들고 노동 집약적인 경우가 많습니다. 

이러한 문제를 극복하기 위해 개발자는 NVIDIA Cosmos™를 기반으로 구축된 NVIDIA Isaac GR00T-MimicGR00T-Dreams Blueprint를 사용하여, 대규모의 다양한 합성 모션 데이터세트를 생성하고 훈련에 활용할 수 있습니다. 

이러한 데이터세트는 Isaac Lab 내에서 Isaac GR00T N 개방형 파운데이션 모델을 훈련하는 데 사용되어, 일반화된 휴머노이드 추론 능력과 견고한 기술 습득을 지원합니다.

강화 학습

Isaac Lab을 사용하여 모듈형의 맞춤형 환경에서 고정밀 물리 시뮬레이션을 수행하고, 보상 계산을 실행하며, 인식 기반 강화 학습(RL)을 구현할 수 있습니다.

먼저 다양한 환경에서 여러 형태의 로봇을 구성하고, RL 작업을 정의하며, RSL RL, RL-Games, SKRL, Stable Baselines3 등의 GPU 최적화 라이브러리를 사용해 모델을 훈련하는 것으로 시작합니다. 이 모든 기능은 Isaac Lab에서 기본적으로 지원됩니다.

Isaac Lab은 직접 실행 또는 관리자 기반의 유연한 작업 워크플로우를 제공하여, 훈련 작업의 복잡성과 자동화를 제어할 수 있습니다. 또한, 클라우드 기반 오케스트레이션 플랫폼인 NVIDIA OSMO는 다중 GPU와 다중 노드 시스템 전반에서 다단계 및 다중 컨테이너 기반의 고도화된 로보틱스 워크로드를 효율적으로 확장하고 관리할 수 있도록 지원합니다. 이는 로봇 학습 정책의 개발 및 평가를 상당히 가속화할 수 있습니다.

시작하기

로봇 학습을 위한 오픈 소스 모듈식 프레임워크인 NVIDIA Isaac Lab을 사용하여 강력하고, 인지 가능하며, 시뮬레이션 훈련 정책을 갖춘 적응형 로봇을 개발하세요.

뉴스

관련 사용 사례