コンテンツにスキップ

agentic-sim-world-gen

日本語(英語も可)の指示・間取り図・写真から、エージェント(Claude Code)がアセットを選んで配置し、Isaac Sim用のワールド(USD)を生成するツール。 アセットはSimReady Central・Isaac Sim同梱アセット・Poly HavenのCC0モデル・手持ちのUSDフォルダから選ぶ。

flowchart TB
  IN["<b>入力</b><br/>文章(日本語・英語)<br/>間取り図:JSON / DXF / IFC / 画像<br/>写真"]
  CC["<b>Claude Code</b><br/>指示を読み、どのツールを呼ぶか決める"]
  subgraph WG["agentic-sim-world-gen(このリポジトリ):MCPサーバー+スキル、同じ操作をCLIからも"]
    direction LR
    S["アセットを検索して選ぶ"] --> L["配置<br/>関係・繰り返し・棚への陳列"] --> V["ブラウザで確認<br/>候補の一覧・上面図"] --> U["USDのワールドと<br/>LICENSES.mdを書き出す"]
  end
  SRC["<b>アセットの出どころ</b><br/>SimReady Central<br/>Isaac Sim同梱アセット<br/>Poly Haven CC0<br/>手持ちのUSDフォルダ"]
  ISAAC["<b>Isaac Sim 6.1</b><br/>検証のスクリプトを動かす:<br/>物理・スクリーンショット"]
  IN --> CC
  CC -- "ツールを呼ぶ" --> WG
  SRC -- "検索" --> WG
  WG -- "USD" --> ISAAC
  ISAAC -- "結果:手直しして再検証" --> CC
  style WG fill:#536dfe14,stroke:#536dfe,stroke-width:3px
  classDef repo fill:#536dfe2e,stroke:#536dfe
  classDef input fill:#9e9e9e26,stroke:#9e9e9e,stroke-dasharray:5 5
  classDef claude fill:#d977572e,stroke:#d97757,stroke-dasharray:5 5
  classDef assets fill:#e3a0082e,stroke:#e3a008,stroke-dasharray:5 5
  classDef isaac fill:#76b9002e,stroke:#76b900,stroke-dasharray:5 5
  class S,L,V,U repo
  class IN input
  class CC claude
  class SRC assets
  class ISAAC isaac

青の太い枠がこのリポジトリ。点線はその外のもの(橙:Claude Code、黄:アセットの出どころ、緑:Isaac Sim、灰:入力)。

重要

NVIDIAの公式の製品ではなく、NVIDIAの後援・承認も受けていない個人のプロジェクトです。Isaac Sim・Omniverse・SimReady・ReplicatorはNVIDIA Corporationの商標です。

警告

SimReady Centralの検索には、Webの画面が使っている公開されていないAPIを使っています。非公式で、予告なく変わったり使えなくなったりすることがあります。 公式の検索窓口(search.simready.omniverse.nvidia.com、simready-searchパッケージが使うもの)は別の中身(主にIsaac Simの同梱アセット)を検索していて、Hugging Face上のSimReady Centralのデータセットは返さないため、代わりには使えません。

注意

アセットのライセンスはアセットごとに違い、非商用(CC-BY-NCなど)の物も選ばれます。シーンごとに書き出すLICENSES.mdで、使う前に必ず確かめてください。Isaac Sim同梱アセットはNVIDIAのライセンスで、このリポジトリのApache-2.0の対象外です。アセットを同梱したUSDを人に渡すと再配布になります。

注意

写真からシーンを作るときは、人が写っている物を使わないでください。

はじめての方はGetting Started(cloneからIsaac Simでワールドを開くまで)。

デモ:倉庫

倉庫を作る様子:Claude Codeとプレビュー、Isaac Simのチェック

動作の様子(1ターンの会話、待ち時間は早送り):作業フォルダのClaude Codeに「24m×16mの倉庫を作って。パレットラックを通路を挟んで4列に並べて、ラックの棚には段ボール箱を載せて。 手前の荷さばき場にパレットとフォークリフト。Isaac Simで物理チェックして、ライセンスもまとめて。」と頼むと、Claudeが既定を決めて一度に検索・配置し、 在庫が載ったラックを候補から空のラックに替えて(select_asset)棚に段ボール箱を並べる(set_fill)。Isaac Sim 6.1の物理チェックで滑った箱2個と動いたフォークリフトを見つけ、 箱の間隔を広げ、フォークリフトは候補を3つ試して(座席やハンドルの部品がずれる)歩行型の電動スタッカーに替えて合格させる(221物体)。 最後に指示との突き合わせ・ライセンス(すべてCC BY 4.0)を報告し、出来上がりを周り24方向から見る。 アセットはSimReady Centralだけ(AGENTIC_SIM_WORLD_GEN_SOURCES=simready-central、AGENTIC_SIM_WORLD_GEN_MDL=0)、床・壁はこのリポジトリの色とテクスチャ。 Ubuntuの画面の録画(Isaac Simは開かず、checkはheadless)。高画質版はdocs/videos/warehouse_demo.mp4。

使ったアセット(すべてCC BY 4.0。詳細はLICENSES.md): "sm_rack_h3m_s02_01"・"sm_box_cardboard_b02_01"・"sm_vehicle_forklift_orange_a01_01" by NVIDIA(nvidia/simready-assets)、 "pallet" by ForgeCAD(ForgeCAD/simready-assets)、 CC BY 4.0。

1回の流れ(Getting Startedの例。②〜④は実際の画面):

指示からワールドまで:日本語で頼む、候補を見て選ぶ、関係で配置・検査、Isaac Simで物理チェック、scene.usdaとLICENSES.md

できること

  • Claude CodeのMCPサーバー+スキル(62ツール)。同じ処理をCLI agentic-sim-world-genでも呼べる
  • 入力:自然言語(屋内・倉庫・屋外)、間取り図(JSON / DXF / IFC / 画像をなぞる)、写真(出典を記録)
  • 配置:関係配置(壁際・机の前・隣・上・向き合う)、繰り返し配置(ラック列+通路)、棚への物の陳列、重なり・はみ出し・ドア前の検査
  • 見た目:床・壁のマテリアル(Isaac Sim同梱のMDL・CC0のPBR)、照明プリセット、雰囲気(moods)、屋外の地面・道路・建物・空(HDRI)
  • 確認:候補のサムネイル一覧・上面配置図(ブラウザのプレビューで動かせる)、Isaac Sim 6.1で物理チェック+スクショ(headlessか、起動中のIsaac Simでライブ)
  • 合成データ:ReplicatorでRGB・bbox・セグメンテーション・深度(COCO / KITTI)
  • ライセンス:アセットごとに出典・ライセンスをUSDとLICENSES.mdに記録

物は座標ではなく関係で置く。位置と向きはソルバが計算し、アセットを大きさの違う物に替えても関係は保たれる:

配置の関係:against_wall・in_front_of・next_to・on・facing・array

該当するアセットが無いときは近い物で代用し、そう報告する(3Dの生成はしない)。 手持ちのアセットのフォルダがあればlocal:で足せる(下の「手持ちのUSDフォルダ」)。

動作環境

確かめた環境 未確認
Isaac Sim 6.1のpip版、Ubuntu 24.04、RTX 2080 Ti バイナリ(スタンドアロン)版、ほかのバージョン、Windows
本体(検索・プレビュー・USD出力) Ubuntu 24.04(Python 3.14)、macOS(Apple Silicon、Python 3.12) Windows

GPUの無い環境でも検索・プレビュー・USD出力まではできる(Isaac Simを使う操作だけが使えない)。 必要な物:Python 3.12以上とuv、Claude Code(エージェントとして使うとき)、Isaac Sim 6.1(物理チェック・スクショ・合成データのときだけ)。

クイックスタート(CLI)

uv sync --extra usd --extra hf --extra mcp --extra dev
source .venv/bin/activate

agentic-sim-world-gen resolve examples/p0_study_room.json -o out/study   # 検索 → candidates.html・layout.svg
agentic-sim-world-gen compose out/study/scene.resolved.json              # -> out/study/scene.usda
agentic-sim-world-gen check out/study                                    # Isaac Sim で物理チェック+スクショ(Ubuntu)

usd-coreは.venvにだけ入れる(Isaac SimのPythonには入れない)。Isaac Simの場所はISAACSIM_PATH(既定~/isaacsim)か ISAACSIM_PYTHON(pip版のpython)で指定し、非対話で動かすにはOMNI_KIT_ACCEPT_EULA=YESも要る。 ほかの環境変数はGetting Started「3. 環境変数」。

Claude Codeから使う(MCP)

リポジトリ直下の.mcp.jsonでagentic-sim-world-gen MCPサーバーが登録済み。リポジトリでclaudeを起動し、初回に承認する。 ワールドを作るだけならagentic-sim-world-gen workspace <dir>で作業フォルダを作り、そこで起動する(Getting Started 4)。 別ディレクトリから使う場合:claude mcp add agentic-sim-world-gen -- /path/to/repo/.venv/bin/agentic-sim-world-gen-mcp

主なツール(全62ツールの引数は.claude/skills/world-gen/tools.md):

ツール 内容
search_assets アセット検索:SimReady Central・Isaac同梱・Poly Haven・手持ちフォルダ(英語クエリ+類義語、サイズ条件、一致スコアで再ランク)
plan_questions 場所ごとに結果を大きく変える質問と、その既定値(まず既定で叩き台を作り、後で聞く)
create_scene SceneSpecから叩き台までを1回で:候補検索・プレビュー、配置に問題が無ければUSD出力と物理なしの描画も
show_gallery / start_from_example 作例と過去のシーンを上面図で並べる / 選んだものから始める(指示があいまいな時)
set_purpose 用途(demo / amr / manipulation / sdg)の既定(密度、ロボットの通路幅など)を当てる
open_preview ブラウザでプレビューを開く(ツールを呼ぶたびに更新。上面図で物を動かす・候補を選ぶ・メモを書ける)
get_scene 状態(候補、選択、配置の問題、プレビューのパス)
view_candidates 候補のサムネイル画像を返す(Claudeが見て選ぶ)
select_asset / research_object 候補の差し替え / クエリを変えて再検索
set_layout 関係で配置(壁際・机の前・隣・上・向き合う)→ 位置/向きを自動計算
set_array 繰り返し配置(ラック列+通路、机の列)。ブロックごとlayoutで配置
set_fill 棚・冷蔵ケース・ショーケースに商品を並べる(段・幅・列)
propose_layouts / choose_layout 配置の案を2〜4つ出して比べる / 1つ選ぶ
set_room 部屋のサイズ・床/壁(プリセット・色・テクスチャ・MDL)・照明プリセット・天井・ドア/窓(openings)・間取り(plan_file)。屋外の敷地(outdoor・道路/歩道などのareas・建物buildings・空sky)
import_floor_plan 間取り図(JSON / DXF / IFC)を読み込みplan.jsonとplan.svgを出力。IFCの家具(IfcFurnitureなど)は位置・向き・寸法・種類と物体の下書きとして返す。画像・PDFはエージェントがなぞってJSONにする
set_variants / set_screen アセットのバリアント選択(照明On/Off、サイネージのScreen On/Offなど) / サイネージの画面に任意の画像を映す(出典はLICENSES.mdに記録)
move_object / add_object / remove_object 手動配置、物の追加・削除(まとめて行うadd_objects / move_objectsもある)
fill_windows 空いた窓の開口に窓のアセットとカーテン・ブラインドを入れる
moods / apply_mood 場所に合う雰囲気の一覧 / 床・壁・照明をまとめて当てる
select_surface / set_tint 床・壁のマテリアル候補を選ぶ / 物の色を塗り替える
set_assumptions / check_request 決めたこと(指示か推測か)の記録 / 指示の項目ごとに満たしたかを確かめる
compose_scene scene.usdaを出力
view_fronts 各物体を想定した正面からIsaac Simで描画(向きの確認、Ubuntuのみ。fillの商品は除く、idsで絞れる)
check_in_isaac Isaac Sim(headless)で物理チェック+スクショ(Ubuntuのみ)。live=trueで起動中のIsaac Simの画面上で確認、draft=trueで物理なしの叩き台の描画
finish 仕上げを1回で:USD出力(古ければ)→ 物理チェック → 指示との突き合わせ → ライセンス。直す物があればそこで止まる
set_collider 当たり判定の無いアセットに見えない箱の当たり判定を付ける
set_input / compare_photo 入力写真の出典・撮影カメラの記録 / 写真と同じ視点で描画して並べる(Ubuntuのみ)
fit_photos 同じ部屋の写真が複数のとき、写真上の目印から部屋の寸法・開口・各カメラを求める
place_from_photos / measure_photo 写真で位置を求めた物をその位置・向きに置く / 写真と寸法を比べる
nav_map ロボット用の2D地図(Nav2のmap.pgm+map.yaml)と、ドアから走れる範囲
make_variants 完成したシーンのバリエーション(アセット・配置・素材・サイズ)を作る
generate_data Replicatorで合成データ(RGB・2D bbox・セグメンテーション・深度、COCO/KITTIも)。カメラ・照明・床壁色をランダム化(Ubuntuのみ)
license_report 使用アセットのライセンス集計・帰属表示・警告、LICENSES.md出力

シーンは$AGENTIC_SIM_WORLD_GEN_OUT/<name>/(既定~/agentic_sim_world_gen_scenes)に保存される。

アセット源

検索元はAGENTIC_SIM_WORLD_GEN_SOURCESで選ぶ(既定simready-central,isaac,polyhaven)。

名前 中身 検索のしかた
simready-central SimReady Central(Hugging Face。上のWARNINGを参照) 検索APIに問い合わせる(オンライン)。アセット本体はHugging Faceのデータセットから参照する
isaac Isaac Sim同梱アセット 同梱の索引src/agentic_sim_world_gen/data/isaac_6.1.jsonl.gzをオフラインで検索(作り直し:python scripts/build_isaac_index.py --bbox-props)
polyhaven Poly HavenのCC0 3Dモデル 同梱の索引をオフラインで検索。シーンを合成するときだけ1kのUSDを取得し、シーンのフォルダにコピーする
local:<dir> 手持ちのUSDフォルダ agentic-sim-world-gen indexで作った索引(下)
  • IsaacアセットをローカルやNucleusに置いている場合はISAAC_ASSETS_ROOTにそのルート(Isaac/の親)を指定する。未設定なら公開のURLを参照する。
  • 床・壁の材質は、Isaac Sim同梱のMDLとCC0のPBR(ambientCG・Poly Haven)の索引から選ぶ。AGENTIC_SIM_WORLD_GEN_MDL=0でMDLを、AGENTIC_SIM_WORLD_GEN_PBR=0でPBRを検索しない。
  • 同梱の索引(src/agentic_sim_world_gen/data/*.gz)はアセットの名前・寸法・URLの一覧で、アセット本体は含まない(出どころはNOTICE)。

手持ちのUSDフォルダ

手持ちのUSDフォルダはAGENTIC_SIM_WORLD_GEN_SOURCES=+local:/data/usd_assetsで既定の検索元に足せる。 agentic-sim-world-gen index /data/usd_assets --listで索引を作り、中身を確認できる(初回は全ファイルを読むので時間がかかり、以後は変更分だけ読む)。 ライセンスはフォルダ内のLICENSE / COPYINGから推定する。確実にするには、フォルダにagentic-sim-world-gen.jsonを置く(近いフォルダの設定が優先):

{"license": "CC-BY-4.0", "author": "ACME", "tags": ["kitchen"], "exclude": ["*_lod*.usd"]}

SimReady形式のアセットフォルダ(asset.jsonつき)は、その情報も読む。

間取り図・屋外・ライブモード

間取り図

agentic-sim-world-gen plan examples/plans/1ldk.json -o out/1ldk_planで読み込む(DXFはextra dxf、IFCはifcが要る。uv syncに--extra dxf --extra ifcを足す)。 出力のplan.jsonをroom.plan_fileに指定すると、部屋(ゾーン)ごとに壁際へ配置でき、ドアの前は空き、USDの壁には開口が開く。 形式はsrc/agentic_sim_world_gen/scene/plan.pyのdocstring。 IFCの家具は、BIMの位置・向きのままアセットに置き換えられる。

屋外

room.outdoor=trueにすると、width×depthが敷地になる。置けるのは次の2つ:

  • areas:道路・歩道・芝など。ゾーンとして壁際配置に使える(歩道は縁石の高さ、道路には物を置かない)
  • buildings:建物(箱)

照明はsun / overcast / dusk / street_nightで、空にはIsaac Sim同梱のHDRIを使う(自分で用意したHDRはskyにパスを渡す)。例:agentic-sim-world-gen resolve examples/outdoor_yard.json -o out/outdoor_yard。

ライブモード

Isaac Simを--enable isaacsim.code_editor.python_server付きで起動しておくと、agentic-sim-world-gen check out/study --live(MCPではlive=true)が その画面でシーンを開いて物理を回し、問題のある物を選択状態にする(2回目以降は約8秒。headlessは毎回約34秒)。 Isaac Simが起動していなければheadlessで動く。接続先はAGENTIC_SIM_WORLD_GEN_ISAAC_LIVE(既定127.0.0.1:8226)。 python_serverは任意のコードを実行するので、127.0.0.1以外で待ち受けない。

ドキュメント

読む人 ファイル 内容
使う人 docs/getting-started.md はじめての方向け:インストールから最初のワールドまで(どの形で動かすかの選び方も)
docs/use-local.md 全部手元:画面のあるUbuntu+RTXの1台で使う(ライブモードも)
docs/use-ssh.md ssh先:GPU機はLANのUbuntu、手元のMacなどからsshとブラウザで使う
仕組みを知りたい人 docs/architecture.md 全体の流れ・データの形・検索・レイアウト・検証・USD・Isaac Sim・対話・写真からの推定を図で
開発する人 docs/contributing.md 開発に参加する:セットアップ・テスト・どこに何があるか・プルリクエスト・プロジェクトページ・GitHub Actions
CLAUDE.md このリポジトリで開発するエージェント向けの前提・規約・環境変数

手引きの英語版はdocs/en/にある。

ライセンス

コードはApache License 2.0(NOTICE)。次の物は別の条件:

  • アセット:このリポジトリには含まない。生成したワールドが参照するアセットは、それぞれのライセンス(シーンのLICENSES.md)
  • 画像(docs/images・src/agentic_sim_world_gen/data/moods):写っているアセットはそれぞれのライセンス(倉庫のデモは上のCC BY 4.0の表示)
  • 同梱の索引(src/agentic_sim_world_gen/data/*.gz):名前・寸法・URLの一覧。出どころはNOTICE
  • 作例の写真(examples/photos):Wikimedia CommonsのCC0(SOURCES.md)
  • 任意の依存:IFCの読み込み(extra ifc)はLGPL-3.0-or-laterのIfcOpenShellを使う(同梱せずimportするだけ)
  • 任意のモデル(同梱しない。許可したときだけ取得する):テイスト検査のSigLIP 2(Apache-2.0)、写真の奥行きのMoGe-2(MIT)