コンテンツにスキップ

全部手元で使う(Ubuntu+RTXの1台)

Isaac Sim・Claude Code・プレビューを、画面のある手元のUbuntu(RTX GPU)1台で動かす手順。 Isaac Simの3D画面・プレビュー・ターミナルを同じ画面で見られる。開いているIsaac Simの画面でcheckする「ライブモード」も、この形でだけ使える。

GPU機が別の場所にあり、手元(Macなど)からsshで入るならssh先で使う。2つの形の違いはGetting Started「0. どこで動かすか」の表。

flowchart LR
  subgraph pc["手元のUbuntu(RTX GPU、画面あり)"]
    term["ターミナル<br/>claude(Claude Code)"]
    subgraph mcp["agentic-sim-world-gen-mcp(claudeの子プロセス)"]
      svc["検索・配置・USD出力・<br/>ライセンス"]
      preview["プレビューのHTTPサーバー<br/>127.0.0.1:8765"]
    end
    browser["ブラウザ<br/>(プレビュー)"]
    isaac["Isaac Sim<br/>headless:checkのたびに起動<br/>GUI:python_server 127.0.0.1:8226"]
    files[("シーンのフォルダ<br/>&lt;作業フォルダ&gt;/scenes/&lt;名前&gt;")]
  end
  subgraph net["インターネット"]
    anthropic["Anthropic API"]
    hf["SimReady Central<br/>(検索API・USD・サムネイル)"]
    s3["Isaac Simアセット<br/>(公開S3)"]
  end
  term -- "MCP(stdio)" --> svc
  term -- "HTTPS" --> anthropic
  svc -- "開く(xdg-open)" --> browser
  browser -- "http://127.0.0.1:8765" --> preview
  svc -- "検索(HTTPS)" --> hf
  svc -- "子プロセス / ライブ :8226" --> isaac
  isaac -- "USD・テクスチャ" --> hf
  isaac --> s3
  svc -- "書く" --> files
  preview -- "読む" --> files

ポートは2つで、どちらも127.0.0.1(外には開かない)。

ポート 何 変える変数
8765 プレビューのHTTPサーバー(agentic-sim-world-gen-mcpの中で動く) AGENTIC_SIM_WORLD_GEN_PREVIEW
8226 ライブモードで、開いているIsaac Simにcheckを送る先(python_server) AGENTIC_SIM_WORLD_GEN_ISAAC_LIVE

1. 必要なもの

用途
Ubuntu+RTX GPUとドライバー、デスクトップ(X / Wayland) Isaac Simの描画、ブラウザ
Isaac Sim 6.1(pip版かスタンドアロン版) 物理チェック・スクショ・写真比較・合成データ
Python 3.12以上とuv agentic-sim-world-gen本体
Claude Code(ログイン済み) 日本語の指示からシーンを作る
ffmpeg(任意、sudo apt install ffmpeg) 物理チェックの様子をGIFに録る(check --gif)

2. インストール

  1. Isaac Sim 6.1を入れる。pip版なら専用のvenvにpip install "isaacsim[all,extscache]==6.1.0.0"(NVIDIAの手順に従う)。 スタンドアロン版なら~/isaacsimに展開する。
  2. agentic-sim-world-genを入れる(Getting Started「2. インストール」と同じ。間取り図も使うなら--extra dxf --extra ifcも付ける):
git clone https://github.com/atinfinity/agentic-sim-world-gen.git
cd agentic-sim-world-gen
uv sync --extra usd --extra hf --extra mcp --extra dev

Isaac SimのPythonには何もpip installしない(Isaac Simは自前のpxrを持っていて、usd-coreが混ざると壊れる)。 3. 環境変数を~/.bashrcなどに書く:

export ISAACSIM_PYTHON=~/isaacsim_venv/bin/python   # pip版のvenvのpython。スタンドアロン版を ~/isaacsim以外に置いたならISAACSIM_PATH=<その場所>
export OMNI_KIT_ACCEPT_EULA=YES                       # 非対話で Isaac Sim を動かすのに必要(NVIDIA Omniverse EULA に同意)

この形で要るのはこの2つだけ。アセットの検索元を変えるならAGENTIC_SIM_WORLD_GEN_SOURCES(Getting Started「3. 環境変数」)。

  1. 確かめる:out/study/check.pngができればIsaac Simが動いている(初回はアセットの取得とシェーダーのコンパイルで数分)。
source .venv/bin/activate
agentic-sim-world-gen resolve examples/p0_study_room.json -o out/study
agentic-sim-world-gen compose out/study/scene.resolved.json
agentic-sim-world-gen check out/study

3. 作業フォルダを作る

ワールドを作るときは、リポジトリの外の作業フォルダでClaude Codeを起動する(リポジトリの中だと開発用のCLAUDE.mdを毎ターン読むので、料金が増え、会話の自動圧縮も早く起きる)。

agentic-sim-world-gen workspace ~/agentic-sim-world-gen-ws     # .mcp.json・スキル world-gen(リポジトリへのリンク)・短い CLAUDE.md
cd ~/agentic-sim-world-gen-ws && claude

初回に.mcp.jsonのagentic-sim-world-gen MCPサーバーを承認する。シーンは~/agentic-sim-world-gen-ws/scenes/<名前>/にできる。 オプション(--env・--allow-toolsなど)はGetting Started「4.」。

4. 最初のワールド

  1. Claudeに頼む:

6畳の書斎を作って。机と椅子、壁際に本棚

  1. プレビュー:候補が出たところで、Claudeがブラウザでプレビュー(http://127.0.0.1:8765/<名前>/preview.html)を開く。 開かないときはClaudeに「プレビューを開いて」と頼むか、返答のURLを開く。ページはツールが呼ばれるたびに自動で書き換わる。 既定のブラウザ以外で開きたいときはAGENTIC_SIM_WORLD_GEN_BROWSER="chromium --app={url}"のように指定する。
  2. check:ClaudeがUSDを出して(compose_scene)、Isaac Simで物理チェックとスクショを撮る(check_in_isaac、headlessで約35秒)。 結果はプレビューの「Isaac Simチェック」に出る(周りから撮った24枚をドラッグで回せる)。
  3. 結果を開く:Isaac Simでscene.usdaを開く。
isaacsim isaacsim.exp.full.kit          # pip 版。スタンドアロン版は ~/isaacsim/isaac-sim.sh

File → Openで~/agentic-sim-world-gen-ws/scenes/<名前>/scene.usda。Playで物理が動く(Z-up、メートル単位、物は/World/Objects/<id>)。

ライブモード(この形だけ)

Isaac Simをpython_server付きで起動しておくと、checkがその画面で行われ、問題の物が選択状態になる。再チェックは約8秒(headlessは毎回約35秒)。

isaacsim isaacsim.exp.full.kit --enable isaacsim.code_editor.python_server   # 127.0.0.1:8226 で待ち受け

Claudeには「開いているIsaac Simでチェックして」と頼む(MCP check_in_isaac(live=true)、CLI agentic-sim-world-gen check <scene> --live)。 Isaac Simが起動していないときと、物が重なっているとき(GUIのGPU物理が壊れることがある)は、headlessで実行される(報告のlive_fallback)。 python_serverは任意のコードを実行するので、127.0.0.1のまま使う。

5. 入力と結果

  • 写真・図面は、手元のパスをそのまま渡す(「~/photos/living.jpgの部屋を作って」)。出典は隣の<stem>.source.json(Getting Started「6. 他の入力」)。
  • できたシーンはそのまま手元のIsaac Simで開ける。別のPCに渡すときは、アセットも同梱したUSDにしてからフォルダごと渡す: 「USDをローカル参照で出し直して」(MCP compose_scene(localize=true)、CLI agentic-sim-world-gen compose <scene>/scene.resolved.json --localize)。

6. トラブルシューティング

症状 対処
プレビューが開かない 返答のURLを手で開く。DISPLAYの無いシェル(sshで入った端末など)からclaudeを起動すると開けない
プレビューのURLのポートが8765でない 8765が使用中(別のClaudeのセッションなど)だと、このフォルダが前回使った番号か、次の空き番号で起動する。最初に使う番号はAGENTIC_SIM_WORLD_GEN_PREVIEW=127.0.0.1:8770のように指定できる
プレビューが更新されない Claude Codeを終えるとプレビューのサーバーも止まる。起動し直して「プレビューを開いて」
ライブcheckがheadlessで動いた live_fallbackの理由を見る。Isaac Simを--enable isaacsim.code_editor.python_serverで起動したか、物が重なっていないか
checkで「physics did not run」 物どうしが接したりめり込んだりして吹き飛び、GPU物理が止まった(CUDA error)。同じシーンは何度やっても同じ。blew_upの物を数cm離す(キャスター付きの椅子を隙間なしで並べた等)。ライブならIsaac Simも再起動する
ほかの症状 Getting Started「9. トラブルシューティング」