全部手元で使う(Ubuntu+RTXの1台)¶
Isaac Sim・Claude Code・プレビューを、画面のある手元のUbuntu(RTX GPU)1台で動かす手順。 Isaac Simの3D画面・プレビュー・ターミナルを同じ画面で見られる。開いているIsaac Simの画面でcheckする「ライブモード」も、この形でだけ使える。
GPU機が別の場所にあり、手元(Macなど)からsshで入るならssh先で使う。2つの形の違いはGetting Started「0. どこで動かすか」の表。
flowchart LR
subgraph pc["手元のUbuntu(RTX GPU、画面あり)"]
term["ターミナル<br/>claude(Claude Code)"]
subgraph mcp["agentic-sim-world-gen-mcp(claudeの子プロセス)"]
svc["検索・配置・USD出力・<br/>ライセンス"]
preview["プレビューのHTTPサーバー<br/>127.0.0.1:8765"]
end
browser["ブラウザ<br/>(プレビュー)"]
isaac["Isaac Sim<br/>headless:checkのたびに起動<br/>GUI:python_server 127.0.0.1:8226"]
files[("シーンのフォルダ<br/><作業フォルダ>/scenes/<名前>")]
end
subgraph net["インターネット"]
anthropic["Anthropic API"]
hf["SimReady Central<br/>(検索API・USD・サムネイル)"]
s3["Isaac Simアセット<br/>(公開S3)"]
end
term -- "MCP(stdio)" --> svc
term -- "HTTPS" --> anthropic
svc -- "開く(xdg-open)" --> browser
browser -- "http://127.0.0.1:8765" --> preview
svc -- "検索(HTTPS)" --> hf
svc -- "子プロセス / ライブ :8226" --> isaac
isaac -- "USD・テクスチャ" --> hf
isaac --> s3
svc -- "書く" --> files
preview -- "読む" --> files
ポートは2つで、どちらも127.0.0.1(外には開かない)。
| ポート | 何 | 変える変数 |
|---|---|---|
| 8765 | プレビューのHTTPサーバー(agentic-sim-world-gen-mcpの中で動く) | AGENTIC_SIM_WORLD_GEN_PREVIEW |
| 8226 | ライブモードで、開いているIsaac Simにcheckを送る先(python_server) | AGENTIC_SIM_WORLD_GEN_ISAAC_LIVE |
1. 必要なもの¶
| 用途 | |
|---|---|
| Ubuntu+RTX GPUとドライバー、デスクトップ(X / Wayland) | Isaac Simの描画、ブラウザ |
| Isaac Sim 6.1(pip版かスタンドアロン版) | 物理チェック・スクショ・写真比較・合成データ |
| Python 3.12以上とuv | agentic-sim-world-gen本体 |
| Claude Code(ログイン済み) | 日本語の指示からシーンを作る |
ffmpeg(任意、sudo apt install ffmpeg) |
物理チェックの様子をGIFに録る(check --gif) |
2. インストール¶
- Isaac Sim 6.1を入れる。pip版なら専用のvenvに
pip install "isaacsim[all,extscache]==6.1.0.0"(NVIDIAの手順に従う)。 スタンドアロン版なら~/isaacsimに展開する。 - agentic-sim-world-genを入れる(Getting Started「2. インストール」と同じ。間取り図も使うなら
--extra dxf --extra ifcも付ける):
git clone https://github.com/atinfinity/agentic-sim-world-gen.git
cd agentic-sim-world-gen
uv sync --extra usd --extra hf --extra mcp --extra dev
Isaac SimのPythonには何もpip installしない(Isaac Simは自前のpxrを持っていて、usd-coreが混ざると壊れる)。
3. 環境変数を~/.bashrcなどに書く:
export ISAACSIM_PYTHON=~/isaacsim_venv/bin/python # pip版のvenvのpython。スタンドアロン版を ~/isaacsim以外に置いたならISAACSIM_PATH=<その場所>
export OMNI_KIT_ACCEPT_EULA=YES # 非対話で Isaac Sim を動かすのに必要(NVIDIA Omniverse EULA に同意)
この形で要るのはこの2つだけ。アセットの検索元を変えるならAGENTIC_SIM_WORLD_GEN_SOURCES(Getting Started「3. 環境変数」)。
- 確かめる:
out/study/check.pngができればIsaac Simが動いている(初回はアセットの取得とシェーダーのコンパイルで数分)。
source .venv/bin/activate
agentic-sim-world-gen resolve examples/p0_study_room.json -o out/study
agentic-sim-world-gen compose out/study/scene.resolved.json
agentic-sim-world-gen check out/study
3. 作業フォルダを作る¶
ワールドを作るときは、リポジトリの外の作業フォルダでClaude Codeを起動する(リポジトリの中だと開発用のCLAUDE.mdを毎ターン読むので、料金が増え、会話の自動圧縮も早く起きる)。
agentic-sim-world-gen workspace ~/agentic-sim-world-gen-ws # .mcp.json・スキル world-gen(リポジトリへのリンク)・短い CLAUDE.md
cd ~/agentic-sim-world-gen-ws && claude
初回に.mcp.jsonのagentic-sim-world-gen MCPサーバーを承認する。シーンは~/agentic-sim-world-gen-ws/scenes/<名前>/にできる。
オプション(--env・--allow-toolsなど)はGetting Started「4.」。
4. 最初のワールド¶
- Claudeに頼む:
6畳の書斎を作って。机と椅子、壁際に本棚
- プレビュー:候補が出たところで、Claudeがブラウザでプレビュー(
http://127.0.0.1:8765/<名前>/preview.html)を開く。 開かないときはClaudeに「プレビューを開いて」と頼むか、返答のURLを開く。ページはツールが呼ばれるたびに自動で書き換わる。 既定のブラウザ以外で開きたいときはAGENTIC_SIM_WORLD_GEN_BROWSER="chromium --app={url}"のように指定する。 - check:ClaudeがUSDを出して(
compose_scene)、Isaac Simで物理チェックとスクショを撮る(check_in_isaac、headlessで約35秒)。 結果はプレビューの「Isaac Simチェック」に出る(周りから撮った24枚をドラッグで回せる)。 - 結果を開く:Isaac Simで
scene.usdaを開く。
File → Openで~/agentic-sim-world-gen-ws/scenes/<名前>/scene.usda。Playで物理が動く(Z-up、メートル単位、物は/World/Objects/<id>)。
ライブモード(この形だけ)¶
Isaac Simをpython_server付きで起動しておくと、checkがその画面で行われ、問題の物が選択状態になる。再チェックは約8秒(headlessは毎回約35秒)。
Claudeには「開いているIsaac Simでチェックして」と頼む(MCP check_in_isaac(live=true)、CLI agentic-sim-world-gen check <scene> --live)。
Isaac Simが起動していないときと、物が重なっているとき(GUIのGPU物理が壊れることがある)は、headlessで実行される(報告のlive_fallback)。
python_serverは任意のコードを実行するので、127.0.0.1のまま使う。
5. 入力と結果¶
- 写真・図面は、手元のパスをそのまま渡す(「~/photos/living.jpgの部屋を作って」)。出典は隣の
<stem>.source.json(Getting Started「6. 他の入力」)。 - できたシーンはそのまま手元のIsaac Simで開ける。別のPCに渡すときは、アセットも同梱したUSDにしてからフォルダごと渡す:
「USDをローカル参照で出し直して」(MCP
compose_scene(localize=true)、CLIagentic-sim-world-gen compose <scene>/scene.resolved.json --localize)。
6. トラブルシューティング¶
| 症状 | 対処 |
|---|---|
| プレビューが開かない | 返答のURLを手で開く。DISPLAYの無いシェル(sshで入った端末など)からclaudeを起動すると開けない |
| プレビューのURLのポートが8765でない | 8765が使用中(別のClaudeのセッションなど)だと、このフォルダが前回使った番号か、次の空き番号で起動する。最初に使う番号はAGENTIC_SIM_WORLD_GEN_PREVIEW=127.0.0.1:8770のように指定できる |
| プレビューが更新されない | Claude Codeを終えるとプレビューのサーバーも止まる。起動し直して「プレビューを開いて」 |
| ライブcheckがheadlessで動いた | live_fallbackの理由を見る。Isaac Simを--enable isaacsim.code_editor.python_serverで起動したか、物が重なっていないか |
| checkで「physics did not run」 | 物どうしが接したりめり込んだりして吹き飛び、GPU物理が止まった(CUDA error)。同じシーンは何度やっても同じ。blew_upの物を数cm離す(キャスター付きの椅子を隙間なしで並べた等)。ライブならIsaac Simも再起動する |
| ほかの症状 | Getting Started「9. トラブルシューティング」 |