ssh先で使う(GPU機はLANのUbuntu、手元はMacなど)¶
Isaac Sim・Claude Code・agentic-sim-world-genは、ssh先のGPU機(LANのUbuntu+RTXなど)で動かす。 手元のPC(Macなど。GPUは要らない)では、sshのターミナルでClaudeに頼み、ブラウザでプレビューを見るだけ。手元には何もインストールしない(sshとブラウザだけ)。
GPU機の前に座って使うなら全部手元で使う。 2つの形の違いはGetting Started「0. どこで動かすか」の表。
flowchart LR
subgraph local["手元のPC(Macなど)"]
term["ターミナル<br/>(sshクライアント)"]
browser["ブラウザ"]
end
subgraph gpu["ssh先のGPU機(Ubuntu+RTX)"]
sshd["sshd :22"]
subgraph tmux["tmux"]
claude["claude(Claude Code)"]
end
subgraph mcp["agentic-sim-world-gen-mcp(claudeの子プロセス)"]
svc["検索・配置・USD出力"]
preview["プレビューのHTTPサーバー<br/>127.0.0.1:8765"]
end
isaac["Isaac Sim(headless)<br/>checkのたびに起動して終了"]
files[("<作業フォルダ>/scenes/<名前>")]
end
subgraph net["インターネット"]
anthropic["Anthropic API"]
hf["SimReady Central / S3"]
end
term -- "ssh :22" --> sshd
sshd --> claude
browser -- "http://127.0.0.1:8765<br/>(ssh -Lでsshd経由)" --> preview
browser -- "サムネイル(HTTPS)" --> hf
claude -- "HTTPS" --> anthropic
claude -- "MCP(stdio)" --> svc
svc -- "子プロセス" --> isaac
svc -- "検索" --> hf
isaac -- "USD・テクスチャ" --> hf
svc --> files
preview --> files
| つながり | ポート | 中身 |
|---|---|---|
| 手元のターミナル → GPU機 | 22(ssh) | tmuxの中のclaudeに日本語で頼む |
| 手元のブラウザ → GPU機のプレビュー | 8765をssh -Lで転送 |
preview.html・配置図・checkの画像。GPU機の127.0.0.1でだけ待ち受け、LANには公開しない |
| 手元のブラウザ → Hugging Face / S3 | 443 | 候補のサムネイル(URLのものはブラウザが直接取る) |
GPU機に入ってくる通信はsshだけでよい。
1. 必要なもの¶
| 場所 | 要るもの |
|---|---|
| GPU機 | Ubuntu+RTX GPUとドライバー、Isaac Sim 6.1(pip版かスタンドアロン版)、Python 3.12以上とuv、Claude Code(ログイン済み)、tmux。画面は無くてよい |
| 手元 | sshクライアントとブラウザ |
2. GPU機の準備¶
以下の<gpu-host>は、手元からGPU機にsshするときのホスト名(user@192.168.0.10や~/.ssh/configのHost名)に読み替える。
- Isaac Sim 6.1とagentic-sim-world-genを入れる(全部手元で使う「2. インストール」の1・2と同じ)。
- 環境変数を
~/.profileか、~/.bashrcの冒頭(case $- inで対話シェル以外を抜ける行より前)に書く。 末尾に書くと、ssh <gpu-host> 'コマンド'のような対話でないシェルには効かない。
export ISAACSIM_PYTHON=~/isaacsim_venv/bin/python # pip版のvenvのpython。スタンドアロン版を ~/isaacsim以外に置いたならISAACSIM_PATH=<その場所>
export OMNI_KIT_ACCEPT_EULA=YES
- 作業フォルダを作る(リポジトリの外に):
- 手元からssh越しに確かめる。
out/study/check.pngができれば、headlessの描画と、対話でないシェルの環境変数の両方が効いている。
ssh <gpu-host> 'cd agentic-sim-world-gen && .venv/bin/agentic-sim-world-gen resolve examples/p0_study_room.json -o out/study \
&& .venv/bin/agentic-sim-world-gen compose out/study/scene.resolved.json && .venv/bin/agentic-sim-world-gen check out/study'
3. 最初のワールド¶
- 手元から、プレビューのポートを転送してGPU機に入り、tmuxの中でClaude Codeを起動する:
ssh -L 8765:127.0.0.1:8765 <gpu-host>
tmux new -s agentic-sim-world-gen # 回線が切れても Claude の作業が止まらないように
cd ~/agentic-sim-world-gen-ws && claude
初回に.mcp.jsonのagentic-sim-world-gen MCPサーバーを承認する。
2. 頼む:
6畳の書斎を作って。机と椅子、壁際に本棚
- プレビュー:GPU機ではブラウザを開けないので、Claudeの返答にURL(
http://127.0.0.1:8765/<名前>/preview.html)とssh -Lの手順が出る。 そのURLを手元のブラウザで開く。ページは1秒ごとに更新を確かめ、ツールが呼ばれるたびに書き換わる。 URLのポートが8765でなければ(下の「5. 注意」)、その番号でssh -Lし直す(別のターミナルでssh -N -L 8766:127.0.0.1:8766 <gpu-host>を足してもよい)。 - check:Isaac SimはGPU機でheadlessで動く(1回35〜50秒)。結果はプレビューの「Isaac Simチェック」に出る。 物理が落ち着いたあとに周りから撮った24枚を、ドラッグか ← → キーで回して見られる。これが3D画面の代わりになる。

- 結果を開く:GPU機の画面でIsaac Simを開くか、シーンを手元に持ってくる(次の節)。
4. 入力を渡す・結果を持ってくる¶
写真から部屋を作るとき、Claudeは写真を切り出して画素の位置を読む。手元のパスは読めないので、写真・図面はGPU機に置いてから、そのパスをClaudeに渡す。
# 写真・図面を GPU 機へ(Claude にはそのパスを渡す)
scp -r ~/photos/living <gpu-host>:~/agentic_sim_world_gen_inputs/living
# できたシーンを手元へ。手元の Isaac Sim で開くなら、アセットも同梱して出し直してから
ssh <gpu-host> 'cd agentic-sim-world-gen && .venv/bin/agentic-sim-world-gen compose ~/agentic-sim-world-gen-ws/scenes/study/scene.resolved.json --localize'
rsync -av <gpu-host>:~/agentic-sim-world-gen-ws/scenes/study ./
出し直しは、Claudeに「USDをローカル参照で出し直して」と頼んでもよい(MCP compose_scene(localize=true))。
--localizeなしのscene.usdaはアセットをURLで参照するので、ネットにつながればどこでも開ける。
5. できないこと・注意¶
- ライブモード(開いているIsaac Simの画面でcheckする)は使わない。GPU機の画面の前にいないと見えないので、headlessのcheckと、プレビューで回して見る画像で確かめる。
頼んでもheadlessに切り替えて続ける(報告の
live_fallback)。GPU機の前でも作業するなら全部手元で使うの形にする。 - sshが切れるとプレビューも見えなくなるが、tmuxの中のClaudeは動き続ける。
ssh -L …でつなぎ直してtmux attach -t agentic-sim-world-gen。 - プレビューのサーバーはClaude Codeのセッションの中で動く。
claudeを終えると止まるので、起動し直したら「プレビューを開いて」と頼む。 - プレビューのポートは既定で8765。使用中(別の作業フォルダのClaudeなど)なら、そのフォルダが前回使った番号(
~/.cache/agentic-sim-world-gen/preview_ports.jsonに記録)、 それも使用中なら次の空き番号になる。作業フォルダが1つなら毎回8765なので、ssh -Lはいつも同じでよい。 作業フォルダを複数同時に使うなら、それぞれの番号でssh -Lする。フォルダごとに番号を決めておくには、agentic-sim-world-gen workspace … --env AGENTIC_SIM_WORLD_GEN_PREVIEW=127.0.0.1:8766のように.mcp.jsonに書く。
6. トラブルシューティング¶
| 症状 | 対処 |
|---|---|
| ブラウザで「接続できない」 | ssh -Lのポートが返答のURLと同じか。sshが切れていないか。claudeが起動中か |
| プレビューが更新されない | ページ上部の更新が止まっていれば、sshかclaudeが止まっている。つなぎ直して「プレビューを開いて」 |
Address already in use(ssh -Lのとき) |
手元でそのポートが使用中(別の転送など)。手元側の番号だけ変える:ssh -L 9765:127.0.0.1:8765 <gpu-host>でhttp://127.0.0.1:9765/… |
Isaac Sim not found / 止まったまま |
ISAACSIM_PYTHON(かISAACSIM_PATH)とOMNI_KIT_ACCEPT_EULA=YESが、claudeを起動したシェルに入っているか(echo $ISAACSIM_PYTHON) |
| GPU機の画面にブラウザが開いた | DISPLAYを引き継いだシェル(ssh -Xなど)で起動した。unset DISPLAYしてからclaude |
| スクショが真っ黒 | nvidia-smiでGPUが見えるか。ドライバーがRTX描画に対応しているか |
| ほかの症状 | Getting Started「9. トラブルシューティング」 |