USDツールとレンダリングに関する詳細

USDツールとレンダリングに関する詳細

Universal Scene Description（USD）アセットの生成、検査、変換に役立つ最新ツールがどこまで進化したかご確認ください。これらのツールの最新情報について解説し、これによりご利用のコンテンツ作成パイプラインに統合することもできるようになります。また、USD Hydraレンダリングの機能や、ご利用のAppへの統合方法も紹介します。 USDの導入については、WWDC22の「USDの基礎の理解」をご確認ください。

リソース
関連ビデオ

WWDC22
- RoomPlanによるパラメトリックな3Dルームスキャンの作成
- USDの基礎の理解
WWDC21
WWDC20
- アーティストのARツールキット
ダウンロード

♪ ♪
こんにちは今年のWWDCへようこそ私の名前はStellaです Alexです私たちは AppleでUSDに関連する多くのことに一緒に取り組んでいます USDツールとレンダリングのアップデートについて説明します Stella 始めてください
USDは基盤となる技術でコンテンツ作成ツールへの統合が進み深まることでゲームや AR 映画 Web などでのレンダリングやアセットやコンテンツの作成方法がますます増えすべてがUSDを中心としていますエコシステムのレンダリングとツールに焦点を当てます USDツールのアップデートから始めましょう
AR Quick Look の新しいライティングでアセットがさらに良く見える方法を示し USDレンダリングを深く掘り下げて最後に Hydraの統合方法をご紹介します
Appleエコシステムにおける USDツールから始めてみましょう
USDZ ToolsとReality Converter を取り上げその後にさらにツールとフレームワークを紹介しますこれらがUSDZ コンテンツの作成に役立ちます
USDZツールはパッケージで必須のコマンドライン USD Pythonツールを含み USDZファイルの生成検証および検査に役立ちますパッケージにはusdzconvert と呼ばれるコンバータも含まれ他の主要な3DファイルフォーマットからUSDZファイルを作成します
Pythonスクリプトは自動化とバッチ処理の強力なツールで USDの探索や APIの使用方法を学ぶための素晴らしい方法です今年はPython 3と Apple Siliconをサポートします USDバージョンもアップグレードし新機能や性能向上により簡単にアクセスできるようになりました
その上usdzconvertに優れた新機能を追加しましたマテリアルを含むOBJを useObjMtlフラグで USDZに変換できるようになりました GLTFファイルからの点と線のサポートを追加し FBXファイルのアニメーションのシーンタイムをサポートしました usdzconvertオプションと変換のカスタマイズ方法はターミナルで "usdzconvert --help" と入力するだけです
著作権情報の追加や 3Dモデルの拡散色や法線マップの提供など
usdzconvertで使用できるすべてのオプションが表示されますコマンドラインを使うよりもワークフローに
UIエディタを希望する場合は USDZツールを使用した Reality Converterもあり usdzconvertと同じ機能を提供しますしかしエディタウィンドウでは macOSでUSDコンテンツの変換やカスタマイズが簡単で
一般的な3Dファイルフォーマットをインポートするだけです OBJ GLTF FBXなどそして変換されたUSDZの結果を表示します今年はUIも改善しワークフローを効率化しましたテクスチャを選択するとさらに情報を表示できます
テクスチャでマテリアルプロパティをカスタマイズし
著作権を追加するかファイルのメタデータを編集します
クラシックまたは新しいライティングを選択します詳細は後述します
USDZオブジェクトのプレビューもできオプションが組み込まれたさまざまな条件の下でそれに応じて露出を調整します
アセット側では新機能を追加し USDZファイルのエクスポート時にテクスチャの品質を選択できます初期設定ではオリジナルの非圧縮でエクスポートされます USDZファイルを小さくしたい場合はテクスチャを JPEGに圧縮するオプションがあります
この例では Object Captureを使ってチェスの駒を
高解像度でスキャンしましたメッシュの詳細を失わずにファイルを縮小するために RealityConverterを使ってエクスポートしました見た目の違いはほとんど目立ちませんがファイルサイズがなんと 80%も削減されました
ここにさらに嬉しいお知らせがあります RealityConverterは USDアセットを自動修正します属性とコネクションタイプの不一致を修正し複数のトップレベルプリムと初期値プリムの欠落を修正し非推奨の属性を更新し不足したメタデータを追加しますユニバーサルバイナリにも対応し Apple Siliconで動作します
3Dモデルを最初から作りたい場合はどうでしょうか
昨年 RealityKit APIとして Object Captureを発表しましたこれは USDZアセットを作成する革新的な方法を提供します Reality Composerを使ってアセットでシーンを構成でき今年は RoomPlan APIをお届けしますこれでパラメトリックな 3Dスキャンを作成できますぜひこの3つのセッションをご覧ください技術を組み合わせこれまで以上に簡単になり誰もが没入型の AR体験を作成できます今日ご紹介したツールはすべて Appleのデベロッパサイトの AR作成ツールページで今すぐダウンロードできますぜひチェックしてください！次に AR Quick Lookの新しいライティングをご覧ください AR Quick Lookは iOSに搭載されたARビューアで 3D USDZオブジェクトをテーブルや壁床のように物理的な空間に配置でき簡単なタッチ操作でインタラクションができます Reality Composerでインタラクティブシーンも作れます USDZファイルに保存して iMessageやメールメモなどでほかの人と共有できます私たちは常にAR Quick Look の作成に努めより現実的なレンダリングのために今年はAR Quick Look に改良されたライティングを導入しより明るくコントラストが強く形状の鮮明度が改善されアセットがより美しく見えるようになりました
オブジェクトモードの AirPods Pro の例でクラシックと新しいライティングでの撮影です AirPods Pro はどちらの条件でも素晴らしいですが新しいオプションにお気づきでしょうより明るい色より高いコントラストおよびより多くのハイライトを提供しています
AirPods Max を机の上に置いて新しいライティングで ARモードで見てみましょう！見事ですね
新しいライティングをどうアセットに適用するのか？とても簡単ですコンテンツに最適なライティングを選ぶだけです USDZファイルに新しいメタデータを設定します
preferredIblVersionの値を 2 に設定しました AR Quick Lookが新しいライティングシステムを使用します
これをもう少し詳しく理解してきましょう PreferredIBLVersionのメタデータは 0 1 および 2 の値を保持できます
preferredIblVersion が 0 のアセットではシステムの初期設定ライティングを使用します 1 設定ではクラシックのライティングを使用します
値を 2 にすると新しいライティングが使用されます
つまり現在のアセットも簡単に新しいライティングに更新できるのです！すべてのアセットにこのメタデータを明確に選択し設定することをお勧めしますそのためには usdzconvertに preferrediblversionというフラグを付けて使用できますたとえばフラグを使って消火栓のOBJファイルを新しいライティングでUSDZ へコンバートする方法を説明しますまたはReality Converter を使用すると初期設定で新しいライティングが使用されますしかし従来のライティングを使用したい場合はプロパティパネルに新しいオプションがあります
AirPods Maxのアセットを両ライティングでプレビューします
このように簡単に違いを比較することができます
ライティングアイコンをクリックすると適用されたライティングが強調表示され参照することができます
最後にこのメタデータがないアセットの場合は AR Quick Look はファイルの date-timeスタンプに基づいてライティングバージョンを自動的に決定します
アセットが 2022/7/1以降の場合は新しいライティングが使用されます
古いアセットはクラシックのライティングを引き続き使用しますそのため外見は変わりません
ではレンダリングに関して Alexに代わりますありがとう Stella 今日はレンダリングされたアセットを見てきました USDレンダリングと Hydraが3D制作のパイプラインに最適な選択肢となる理由と独自のAppに統合する方法を探ります
まず一般的なレンダリングについて説明します
レンダラは3Dモデルカメラライトを受け取りそれらを使って画像を生成します多くのさまざまなレンダラがありそれぞれが特定の目的のために構築され使用別に最適化されています
一部のレンダラはリアルタイムApp用に設計されゲームやARシーンで人物をレンダリングしますもう一方は時間はかかりますがより写実的な画像を生成しますたとえばハリウッド映画の視覚効果を製作する場合です
すべてのレンダラは機能を選択し独自性を持っています
異なる使用に対応する異なるUSDレンダラは Appleプラットフォームにも存在しますこれらの異なるレンダラに関するドキュメントを developer.apple.comに追加していますそれは両者の違いを理解するのに役立ちどのUSD機能がサポートされているのか説明し最適なUSDを作成するためのガイダンスを提供します
AppleプラットフォームのレンダラであるRealityKitは写実的なレンダリングシステムを備えたインタラクティブな拡張現実体験に最適化され AR Quick Lookで使用されていますこれは USDZファイルの主要なレンダラです macOSでの別の選択肢は PixarのStormですプロダクショングレードのアセットに最適化され大規模なシーンのリアルタイムプレビュー用に設計されています
アセットを視覚化し反復するのに最適な技術でコンテンツ制作のパイプラインを通ります Stormは Hydraと呼ばれる技術を使用しています HydraはUSDオープンソースプロジェクトのコアです次にHydraとStormの関連を理解しましょう先程のこの図から始めますここではレンダラとして Stormを使用しています
入力は通常 "シーングラフ"と呼ばれ Stormはそのプレビューレンダリングを生成します
同じシーンの写実的な画像を別のレンダラを使って生成したい場合はどうでしょうか？
Hydraはまさにそのために作られたのですシーンをレンダラに密結合するのではなくシーンからレンダラにデータを転送する抽象的なレイヤとして機能します
これによりシーングラフを変更することなく必要に応じていつでも簡単にレンダラを交換できますたとえばStormとPixarの RenderManを使用できます
コンテンツ作成パイプラインで高速レンダリングとイテレーションに Stormを使用してその後RenderMan に切り替えます準備ができたら最終的な画像を作成しますシーングラフについても同様です Hydraへの入力は USDシーングラフか別のグラフで
複数Appで同じレンダラを活用できます全く異なるシーングラフを持っていたとしてもです Hydraとシーングラフやレンダラを接続するインターフェイスはデリゲートと呼ばれますシーングラフはデリゲートを介してHydraに接続されレンダラはデリゲートを介してHydraに接続されますそれがHydraです！ Nuke 13はビューポートをレンダリングしています macOSのNukeアーティストは Nukeの3Dシステムでより良い品質とインタラクティブな体験をすることができます
HydraとシーンデリゲートおよびMetalによって加速されたStormを使用することで実現します
この度ピクサー・アニメーション・スタジオと共同で Metalによって加速されたStormをオープンソースに公開し 22.05米ドルでご利用いただけます Hydraの力を見てきましたがレンダラとしての Stormと USDシーングラフの典型的な使用例として HydraのサンプルAppを見てみましょうコンテンツ作成ツールと 3D Appを構築する方法を確認します HydraPlayerは非常にシンプルで強力です StormでUSDをレンダリングしカメラを動かします
HydraPlayerをサンプルプロジェクトとしてすぐに始められるように公開することに興奮しています！セッションリソースから利用可能で Readmeに完全な説明があります
このビデオを今一時停止しプロジェクトをダウンロードして説明に従うことをお勧めします
Xcodeプロジェクトには 4 つのクラスがあります AppDelegate カメラレンダラビューコントローラーです AppDelegate は基本的にルートオブジェクトでシステムとのインタラクションを管理しますカメラクラスはユーザー入力の変換を容易にするために USDシーンカメラをシンプルに表現したものですレンダラはUSDやHydra とのインタラクションを処理します
最後にViewControllerはユーザー入力を処理します HydraPlayerをビルドし起動前にすべきことが 3 つあります
環境を整え Apple Silicon MacでRosettaを使用し USDとHydraをダウンロードしてビルドしますでは始めましょう
まず開発環境を整えます Xcode Python CMakeのインストールを確認します
次に 2 つの手順のためにターミナルを開きます
Apple Silicon Macの場合は USDがarm64をサポートするように移行している間は Rosettaで実行しますそのためにはarchコマンドを使用します
環境が整ったら USDと Hydraソースコードをダウンロードする必要がありますどちらも同じ GitHubリポジトリ PixarAnimationStudios/USD にありますさてコードができたのでビルドできます USDにはPythonのビルドスクリプトが付属しています "generatorXcode" と "no-python" のフラグを追加し USDをインストールする場所を指定します "USDInstall" のソースコードの横に置きます USDのビルドが完了すると HydraPlayerの準備完了ですこの図に戻り HydraPlayer の重要な部分を特定して詳細を確認しましょう 3Dモデルのロード方法とカメラの設定方法シーンライトの設定を見ています次にシーングラフを Stormに取り込む方法と最後にウィンドウ用の画像を作成する方法を学びます
では USDから3Dモデルのロードを始めましょう ViewControllerの viewDidAppearで NSOpenPanelを使いファイルピッカーを作成します
ファイルが選択されるとレンダラはシーンの設定を開始し USDファイルをロードします
ファイルのロードは USD API を使用すると非常に簡単ですファイルパスで USD ステージを開くだけです
完了ですファイルがロードされました
次にカメラを設定しますこのコードでは簡単です setupCameraでは新しいシーンカメラを作成します
次にシーンに基づいてワールドサイズと中心を計算しますカメラを十分な距離に移動し中心に焦点を合わせますこうすることで全体が写るようになります
これでカメラの設定は完了です次はライティングです簡単な環境光を 1 つ作りその位置をカメラに合わせて設定します　それだけです 3D モデルカメラライトのフルシーンが完成しましたこのシーンを Stormに渡すことができますまずレンダリングエンジンを初期化しますここで UsdImagingGLEngine を新規に作成します最も重要なパラメータは rootPathですエンジンを3Dモデルを含む USDステージに向けます他のパラメーターと UsdImagingGLEngineの詳細は PixarのUSD API ドキュメントを参照ください
次にカメラをエンジンに設定しライティング設定を行います最後にレンダリングパラメータを設定して Stormのレンダリング方法を定義しますたとえば透明な背景をレンダリングしたい場合レンダリングされた画像が Appの配色と調和しますアニメーションのあるシーンではここでタイムコードを指定することも重要です
これで画像をレンダリングする準備が整いました
必要な設定はすべて完了しているのでレンダリングのコマンドは 1 行のコードで済みます結果を取得してウィンドウに表示します USDのおもちゃの飛行機をレンダリングしています！実は 1 次元だけでなくレンダリングしています HydraPlayerは数千万の三角形で何千ものアニメーションアセットを簡単にレンダリングできます
このセッションのリソースを確認しサンプルプロジェクトをダウンロードしてさらに楽しく研究してください
私たちはAppleのUSDツールのアップデートを掘り下げより強力にアセットがより良く見えるようになりました Hydraの機能について確認し HydraPlayerのサンプルプロジェクトを通して Appにインテグレートできる方法を確認しました
USDの重要な概念について詳細は "USDの基礎の理解" のセッションをご覧ください
ありがとうございました ♪ ♪

% python usdzconvert --help
usdzconvert 0.66
usage: usdzconvert inputFile [outputFile]
                   [-h] [-version] [-f file] [-v]
                   [-path path[+path2[...]]]
                   [-url url]
                   [-copyright copyright]
                   [-copytextures]
                   [-metersPerUnit value]
                   // ...
                   [-diffuseColor           r,g,b]
                   [-diffuseColor           <file> fr,fg,fb]
                   [-normal                 x,y,z]
                   [-normal                 <file> fx,fy,fz]
                   // ...

9:00 - choosing lighting in usda metadata

// asset.usda
#usda 1.0
(
    customLayerData = {
        dictionary Apple = {
             int preferredIblVersion = 2
        }
    }
)

17:50 - Build USD + Hydra

// Rosetta
% arch -x86_64 /bin/zsh

// Download source code
% git clone https://github.com/PixarAnimationStudios/USD.git 

// Build USD + Hydra
% python3 USD/build_scripts/build_usd.py --generator Xcode --no-python USDInstall

18:54 - Load USD ViewController

// AAPLViewController.mm

- (void)viewDidAppear
{   
    NSOpenPanel* panel = [NSOpenPanel openPanel];
    panel.allowedContentTypes = @[UTTypeUSD, UTTypeUSDZ];
   
    [panel beginWithCompletionHandler:^(NSModalResponse result) {
        if (result == NSModalResponseOK)
        {
            NSURL* url = panel.URLs[0];
            [self->_renderer setupScene:[url path]];
        }
    }];
}

// AAPLRenderer.mm

- (bool)loadStage:(NSString*)filePath
{
    _stage = UsdStage::Open([filePath UTF8String]);
    // ...
}

19:30 - Create Scene Camera

// AAPLRenderer.mm

- (void)setupCamera
{
    _viewCamera = [[AAPLCamera alloc] initWithRenderer:self];
    
    [self calculateWorldCenterAndSize];
    
    [_viewCamera setDistance:_worldSize];
    [_viewCamera setFocus:_worldCenter];

}

19:54 - Create Scene Light

// AAPLRenderer.mm

GlfSimpleLight computeCameraLight(const GfMatrix4d& cameraTransform)
{
    GlfSimpleLight light;
    light.SetPosition(GfVec4f(cameraPosition[0], cameraPosition[1], cameraPosition[2], 1));
    
    return light;
}

20:17 - transport to storm

// AAPLRenderer.mm

- (void)initializeEngine
{
    _engine.reset(new UsdImagingGLEngine(_stage->GetPseudoRoot().GetPath(),
                                         excludedPaths,
                                         SdfPathVector(),
                                         SdfPath::AbsoluteRootPath(),
                                         driver));
}

// AAPLRenderer.mm

- (HgiTextureHandle)drawWithHydraAt:(double)timeCode
                           viewSize:(CGSize)viewSize
{
      _engine->SetCameraState(modelViewMatrix, projMatrix);
      _engine->SetLightingState(lights, _material, _sceneAmbient);
  
      UsdImagingGLRenderParams params;
      params.clearColor = GfVec4f(0.0f, 0.0f, 0.0f, 0.0f);
      params.frame = timeCode;

      // ... 
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC21

WWDC20