NVIDIA が、Omniverse のライブラリと AI エージェントでシミュレーションを組んだ例を公開しました。ステレオカメラで撮った室内を、扉や引き出しの動きを試せる場面に組み直す例があり、人型ロボットがハードル 1 台を 100 回のうち 64 回越えた、という試行の数字も載っています。載っているのは NVIDIA の担当者による例です。
1. 現場を立体で組み直す仕事と、今回の道具
マーベルシリーズ、アイアンマン、アベンジャーズに登場する人工知能 AI（J.A.R.V.I.S.）に、『アイアンマン3』でトニーは、爆発のあった現場を立体で組み直させ、その中を歩いて検証しています。
NVIDIA が 2026年10月8日に公開した記事には、これと同じ種類の仕事が載っています。撮った室内を編集できる立体の場面に組み直し、その中で物の動きを確かめます。組み立ての指示は、AI エージェントに言葉で渡しています。
空間を取り込んで、あとから中を見返すところまでなら、LiDAR を積んだスマートフォンで届きます。作中の指示を 1 件ずつ現実の道具と突き合わせた一覧は、こちらにまとめてあります。
-
-
現実版J.A.R.V.I.S.の作り方2026 — Alexa+・HomePod・Geminiで家をAI化する
作中でトニーがJ.A.R.V.I.S.とF.R.I.D.A.Y.に出した指示を21件数え直し、2026年の市販品でどこまで届くかを1件ずつ突き合わせました。そのまま作れるのは7件です。
2. 言葉で頼むと、部品がつながる
シミュレーションを作るときに重たいのは、アセットを集め、物理と描画をつなぎ、意図どおりに動くかを確かめる工程です。発表の例では、その工程を AI エージェントに言葉で頼み、人は出てきた結果を見て、直しを言葉で返しています。
01. 倉庫の人型ロボット
倉庫で人型ロボットを操作するシミュレーターの例では、物理に ovphysx、シーンの更新に ovstage、描画に ovrtx、画面まわりに ovui をつないでいます。SimReady の倉庫とロボットは simready-foundation で場面に置き、アニメーションとアプリのコードはエージェントが生成しました。一人称視点と三人称視点を切り替えられます。
02. ブラウザで動く国際宇宙ステーション
NASA のアセットを OpenUSD の国際宇宙ステーションのモデルにまとめ、テレメトリーを載せてブラウザに出すアプリは、1 つのプロンプトで作られ、そのあと指示を足して直されています。描画は ovrtx、シーンの実行は ovstage、配信は ovstream の受け持ちです。
3. 撮った室内が、試験場になるまで
1 章の例を手がけたのは、NVIDIA の Isaac の応用チームにいる Chirag Majithia 氏です。ステレオカメラで撮った室内を、編集できる OpenUSD のスタジオに起こし、物がどう動いてぶつかるかを Isaac Sim で試しています。
再構成しただけの室内は、見た目は部屋でも、動かせる物にはなっていません。物を選び出し、動きとぶつかり方を決める作業が 2 から 4 に当たります。
4. 結果は数字で返ってくる
言葉で頼む作り方では、できたものが正しいのかをどう確かめるかが残ります。発表の例は、試行の回数とセンサーの指標で確かめています。
01. ハードルを 100 回中 64 回
スポーツの映像と言葉の指示から、Unitree G1 の人型ロボットに運動をさせる実験的なプロジェクトでは、エージェントがコントローラーを作り、物理の試行で詰めています。ある実験では、ハードル 1 台を 100 回のうち 64 回越えました。ふるまいの計算は Newton Physics Engine、計算の加速はオープンソースの NVIDIA Warp、場面と仮想カメラの映像は ovrtx の受け持ちです。
02. 記録データとの差を測って直す
RTX センサーの検証の例では、Astra と Claude Fable 5 のエージェントに、ovrtx のカメラ出力と生の LiDAR 出力を記録データと比べさせています。直したのは足りない物、形、材質で、受け入れるかどうかはカメラと LiDAR の指標で判断しています。
03. 同じ場面で、条件を 1 つだけ変える
自動運転の例は、サンフランシスコのマーケットストリートを下敷きにした、再利用できる環境「Zero to Alpamayo」です。先に工程を描き出してから、段階ごとにつないで確かめています。
別の Cosmos3-Nano の実験では、記録したシミュレーション映像の天候と照明を変えて、同じ場面での運転モデルの反応を比べています。
5. 原文が示している始め方
原文の末尾には、始め方が 2 段で書かれています。倉庫や街をいきなり作る話ではありません。
USD Content Agents は 3 章の室内の例で使われていた道具です。Onshape は、車のサスペンションを分解する例に出てきます。エージェントが PTC Onshape でサスペンションをモデルにして Isaac Sim に組み込み、ロボットがボルトに届くためのレンチまで設計しました。分解の前に、工具が部品に届いて外せるかを確かめるためです。
規模の違う例が並んでいますが、進め方は共通しています。言葉で頼み、出てきたものを見て、数字で確かめ、直しを言葉で返します。
6. よくある質問
Omniverse のライブラリは何を受け持ちますか。
発表の例では、物理のふるまいは ovphysx、シーンの更新と実行は ovstage、描画は ovrtx、画面まわりは ovui、ブラウザへの配信は ovstream が受け持っています。SimReady の場面づくりには simready-foundation が使われています。
AI エージェントには何を渡しますか。
渡すのは言葉の指示です。作りたい場面と動きを頼み、出てきた結果を見て、直しをまた言葉で伝えます。自動運転の例では、先に工程を描き出させてから段階ごとにつなぎ、統合のたびに確認しています。
どの AI モデルが使われていますか。
原文が挙げているのは GPT-6 Astra（本文中の表記は Astra）と、センサーの比較に出てくる Claude Fable 5 です。記録映像の天候と照明を変える実験には Cosmos3-Nano の名前が出てきます。
個人の部屋でも同じことができますか。
原文には、ステレオカメラの撮影から室内を再構成して試験の場面にする例が載っています。手がけたのは NVIDIA の担当者で、個人向けの手順や必要な機材は示されていません。
ロボットの動きはどこまで試されていますか。
スポーツの動きを試す実験的なプロジェクトで、Unitree G1 の人型ロボットが、ハードル 1 台をシミュレーションの 100 回のうち 64 回越えています。
シミュレーションと現実の差は、どう確かめていますか。
ovrtx のカメラ出力と生の LiDAR 出力を、記録データと比べています。約 3 日の往復で、エージェントがデジタルツインを 2 つ一から作り、既存の 2 つを改良しました。
7. まとめ
『アイアンマン3』でトニーがやらせた「現場を立体で組み直す」仕事に、言葉で頼める道具が 1 つ加わりました。発表に載っているのは、撮った室内を、物を動かして試せる場面にするところまでです。作り手は NVIDIA の担当者で、結果は試行の回数とセンサーの指標で確かめられています。
- 頼み方：言葉で頼み、結果を見て、直しを言葉で返す
- 室内の例：ステレオカメラの撮影から再構成し、Isaac Sim で扉と引き出しを試す
- 数字：ハードルは 100 回中 64 回、デジタルツインは新規 2 つと改良 2 つ、期間は約 3 日
- 始め方：OpenUSD の場面を ovrtx の最小の Python 例で描き、センサーの測り方を 1 つ決める
8. 画像の出典
- ① NVIDIA 公式発表・表示の安定のため、私のサイトのサーバーから配信しています。
出典：NVIDIA 公式発表「Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents」（2026年10月8日）。数値と名称は発表時点のものです。