0. はじめに¶

対象読者と前提知識¶

このチュートリアルは、次のような方を対象にしています。

• Python でプログラムを書ける
• ロボティクスやロボットシミュレータを使うのは初めて

次の知識は前提とします。

ROS 2 や強化学習の知識は必要ありません。

このチュートリアルのゴール¶

最終的に、次のことができるようになるのがゴールです。

• Docker で Isaac Sim を起動し、ブラウザから画面を操作できる
• Python スクリプトからシーンを組み立て、シミュレーションを進められる
• 移動ロボット (Jetbot) を動かし、カメラや LiDAR のデータを取得できる

7 章では、これらを組み合わせて LiDAR で障害物を避けながらゴールへ向かう Jetbot を作ります。

Isaac Sim とは¶

Isaac Sim は、NVIDIA が提供するロボットシミュレータです。主に次のような特徴があります。

• 物理シミュレーション: NVIDIA PhysX による剛体・関節・車輪などの物理演算
• 写実的なレンダリング: RTX GPU によるレイトレーシングで、カメラ画像や LiDAR をリアルに再現できる
• USD ベースのシーン: シーンやロボットを USD 形式で扱う (3 章で解説します)
• Python API: GUI 操作だけでなく、Python からすべてを制御できる

ロボットのアルゴリズムを実機で試す前に検証したり、機械学習用の合成データを作ったりする用途で使われています。

Isaac Sim と関連するソフトウェア¶

Isaac Sim について調べると、Omniverse・Isaac Lab・Isaac ROS といった名前がよく一緒に出てきます。どれも NVIDIA のソフトウェアで名前が似ていますが、役割はそれぞれ違います。関係を図にすると次のようになります。

flowchart TB
    subgraph PC["シミュレーションを動かす PC (RTX GPU)"]
        lab["Isaac Lab<br/>ロボット学習のフレームワーク"]
        sim["Isaac Sim<br/>ロボットシミュレータ"]
        subgraph ov["NVIDIA Omniverse"]
            kit["Omniverse Kit<br/>アプリケーションを作るための SDK"]
            tech["OpenUSD・RTX レンダラ・PhysX など"]
        end
        lab -- "上に作られている" --> sim
        sim -- "上に作られている" --> kit
        kit --- tech
    end
    subgraph robot["ロボット (Jetson など)"]
        isaacros["Isaac ROS<br/>GPU で高速化した ROS 2 パッケージ"]
    end
    sim <-- "ROS 2 のトピック<br/>(ROS 2 Bridge)" --> isaacros

Omniverse と Isaac Sim¶

Omniverse は、特定の用途のアプリケーションではなく、3D アプリケーションを作るための土台です。Isaac Sim はその上に作られたアプリケーションの 1 つで、Omniverse の技術をロボットのシミュレーション向けにまとめたものです。

Isaac Sim の機能は、Omniverse Kit の 拡張機能 (Extension) として作られています。このチュートリアルで使う isaacsim.core.experimental 系の API や、3 章で出てくる omni.usd.libs も、拡張機能として提供されています。シーンを USD で表すのも、Omniverse の上に作られているからです。

Isaac Lab と Isaac Sim¶

Isaac Lab は、Isaac Sim の上に作られたロボット学習用のフレームワークです。シミュレーションそのものは Isaac Sim が行い、Isaac Lab は多数の環境を並列に動かしたり、報酬を定義して方策を学習させたりする部分を受け持ちます。

Isaac Lab と組み合わせて使える Isaac Sim のバージョンは、Isaac Lab のバージョンごとに決まっています。このチュートリアルの Isaac Sim 6.1.0 に対応するバージョンは、付録 C を参照してください。

Isaac ROS と Isaac Sim¶

Isaac ROS は、名前に「Isaac」が付いていますが、シミュレータではありません。実機のロボット (Jetson など) で動かす ROS 2 のパッケージ群で、画像認識や自己位置推定などの処理を GPU で高速化します。Isaac Sim をインストールしても Isaac ROS は入りませんし、Isaac ROS を使うのに Isaac Sim は必須ではありません。

両者は ROS 2 のトピックを通じて組み合わせられます。Isaac Sim のカメラ画像を ROS 2 Bridge で配信し、それを Isaac ROS のパッケージで処理すると、実機のロボットがなくても Isaac ROS の処理をシミュレーションで試せます。

検証環境¶

このチュートリアルの手順とサンプルコードは、次の環境で動作を確認しています。

手元に NVIDIA GPU がない場合は、付録 A. クラウドで動かす を参照してください。

全体の流れ¶

前の章の内容を前提に進むので、順番に読むことをおすすめします。

このチュートリアルの読み方¶

サンプルコード¶

サンプルコードは GitHub リポジトリの examples/ にあります。最初にリポジトリを取得しておいてください。

git clone https://github.com/atinfinity/isaac-sim-tutorial.git
cd isaac-sim-tutorial

表記¶

• GUI のメニューは英語表記のまま Create > Mesh > Cube のように書きます
• 補足は次のような囲みで示します

用語集¶

以降の章で使う主な用語です。分からない用語が出てきたら、ここに戻って確認してください。

Isaac Sim と実行環境¶

シーンと USD¶

シミュレーション¶

ロボットとセンサ¶

参考リンク¶

• Isaac Sim 6.1.0 ドキュメント
• Isaac Sim の動作要件
• Isaac Sim (GitHub)
• Omniverse Kit の概要 (Kit Manual)
• Isaac Lab ドキュメント
• Isaac ROS ドキュメント
• NVIDIA Isaac ROS (Isaac Sim ドキュメント)