USDエコシステムの詳細

♪♪ ♪ こんにちは Dhruv Govilです 3Dソフトウェアエンジニアです 今日 このセッションで説明するのは Appleのプラットフォームにおける 3Dコンテンツテクノロジーの エコシステムの新機能についてです 3Dは素晴らしいメディア形式であり 三次元でイマーシブな体験を さらに奥深く広げていくxrOSの導入により 3Dの重要性が増してきています 今や 驚くようなビジュアルの作成は 誰にでも始めやすくなっていて 自宅のAppleコンピュータや 手元のiPadでも可能です この相次ぐクリエイティブ コンテンツを実現させるために 世界中のクリエイティブ産業の 源となるキーテクノロジーに基づき 私たちはその土台を築き上げてきました その最初のテクノロジーが ユニバーサルシーンディスクリプション 略してUSDです USDにより 3Dコンテンツを 表示する標準の形式が アプリ間で共有できます さらにxrOSではMaterialXを サポートするので オブジェクトのビジュアルの ポータブルな表示が可能となります USDはPixarが作成した オープンソースのプロジェクトで 先日 OpenUSDと改名されました 実績のあるプロダクションで その利用者の幅は 単一アセットを作るような クリエーターから AAAタイトルや映画を制作する 大手スタジオまで広がります USDはコンポジション経由で アセットデータ間の 複雑かつ柔軟な関係を表現してくれます Appleは早い時期からUSDを採用していて 2017年にプラットフォームに取り入れ それ以来サポートを増強しています 現在では USDはxrOSの 3Dコンテンツの中核です MaterialXもオープンソースの プロジェクトで Industrial Light & Magicが Star Warsの制作のために作成しましたが 今ではAutodeskなどと共同で開発され Academy Software Foundationに 採用されています これによりアーティストは コードの知識がなくても 3Dアプリの中で シェーダーロジックをノードグラフに 組み合わせられます このグラフはUSD内に埋め込めるので シーンデータと共に移動します xrOSで最初にMaterialXを サポートしているRealityKitは イマーシブな空間体験を構築するための Appleのリアルタイム 3Dレンダリングフレームワークです このような3Dテクノロジーを どう使うのか説明する中で 4つの分野を見ていきます 最初は わたしたちのアプリが どのように3Dコンテンツの 新機能を有効にするのかについてです 次に MaterialXのサポートに関する詳細と RealityKitでの カラーマネジメントについてです そしてUSDに戻って 去年から何が変わったのか 気をつけたい変更点について話します まずは 3Dを可能にしている テクノロジーを見る前に アプリで3Dを使うための 新しい方法について 見ていくことにしましょう iOSでのUSDZファイルのための Quick Lookの成功に続いて xrOSにもQuick Lookを 導入することになりました とてもシンプルに USDZファイルを開くだけで 美しい見た目で 空間的に表示され その周りを歩いたり 自分の周囲に 実に馴染んでいます この新しいプラットフォームにピッタリの 別のコンテンツを 簡単にオーサリングする 方法についてのトークもあります 去年 導入したフリーボードは パワフルで簡単に使える ブレインストーミングアプリです フリーボードでUSDZコンテンツを 埋め込む事ができるので ほかのコンテンツタイプと同様に 3Dアセットとの コラボレーションが可能になり サポート対象プラットフォームには macOSやiOSやiPadOS そして 今ではxrOSも含まれます また Safariは3Dコンテンツを エレメントで 新たにサポートします エレメントはSafariのある 全Appleプラットフォームで 利用可能であり macOSのデベロッパメニューや ほかのプラットフォームの 設定で有効にできます 簡単にオーディオや動画や画像の エレメントとして使える エレメントなら インタラクティブビューのある Webページへの USDZファイルの埋め込みが可能で オブジェクトを回転させる事ができます これにより さらにインタラクティブな Webページが作成でき ユーザーがどのデバイスを使っていても 驚くような体験が提供できます W3Cの Immersive Web Working Groupと一緒に その標準化に努めています また Reality Composer Proは クリエイターやデベロッパのための 一連のツールに加わった 新しいmacOSアプリです USDのコンポジション機能により 複数の人が同時に作業できて 一つのシーンの別々の側面に関して それぞれの人が対処できて 各アセットが更新されると それを組み合わせて確認できます アセットは自分のコンテンツ クリエーションアプリ内で USDにオーサリングできて Reality Composer Proで xrOSアプリでの使用や 体験に向けて準備しておく事ができます Reality Composer Proのセッションで 詳細をご確認ください 作成する3Dモデルと同じように重要なのは 個々に視覚的な美しさを与える シェーダーとマテリアルです MaterialXはオーダーメイドの ビジュアルを可能にし USDシーン内で xrOSのRealityKitアプリに そのビジュアルをトランスポートします Reality Composer Proが導入する Shader Graphは USDファイル内に埋め込まれた MaterialXノードをオーサリングします これによって シェーダーの ロジックを作成するための インタラクティブなノードグラフを使う シェーダーが作れるようになります MaterialXのシェーダーグラフで クリエイターは xrOSコンテンツのために カスタムのシェーダーを構築できます 標準MaterialXノードの多くに加え Reality Composer Proは xrOSに特化した様々な プラットフォーム機能を有効にする カスタムのMaterialXノードもあります このようなシェーダーノードの例として RealityKit PBRは 物理ベースレンダリングシェーダーで 実物のように見える 3Dコンテンツを生み出します RealityKit Unlitは Unlitシェーダーで スタイライズドシェーディングを 行うためのものです ジオメトリモディファイアは表面の変形を 修正するもので ほかにはカスタムの ユーティリティノードもあります Shader Graphを使って アセットのカスタムルックを 作成する方法についての デベロッパ向け セッションを用意しています USDを使ったMaterialXのサポートは 実績のある第三者の3Dアプリにまで 広がっていて 例としては SideFXのHoudiniや ここに出ているAutodeskのMayaの LookdevXがあります Reality Composer Proを使うと デバイスにデプロイする前に シェーダーがどう見えるのか プレビューができます 繰り返しますが MaterialXは オープンソースプロジェクトなので クリエーターやデベロッパは 自分のワークフローやアプリで 直接 MaterialXを 利用する事ができます MaterialXプロジェクトには みなさんのMaterialXノードグラフから シェーダーコードを生成するための サポートが含まれています Appleは パワフルなGPUを 最大限に利用できるように Metalシェーダーコード作成のための サポートをプロジェクトに追加しました これはMaterialX 1.38.7のリリースで 利用可能になっています USDを使うデベロッパには macOSでのUSD内のMaterialXの 今後の使用でも利用可能になります シェーダーのビヘイビアが 信頼できる事は重要ですが 色の見え方が信頼できるのも重要です そのため RealityKitの色空間管理の ハンドリングを拡張したので 幅広い扱い色範囲を利用して 正確な見た目の3Dコンテンツを 作成できます ですが最初に 色空間がなぜ重要なのか 軽くおさらいしましょう 色空間というのは 利用可能な色の範囲などの デジタル値からどのように 色を表示するのかを グラフィックプログラムが どう理解するかという事です これにより 複数のアプリが 確実に同じ色を表示し 編集もできるようになります Appleのディスプレイの色空間は 基本的にDisplay P3を使い 一方 ほかの多くのプラットフォームは よくあるsRGB を使います Display P3はデジタル映画の より広い主要範囲と コンピュータディスプレイで使われる sRGBのガンマカーブを合わせ持ちます 事実 従来のsRGBよりも 最大で25％多くの色を表示できて sRGBはこの黒い線の内側で より広いDisplay P3色空間の 中に入っています これで 現実世界で私たちが見る もっと多くの色が表示でき 例えば オウムの色鮮やかな羽や お気に入りの服の深い色も表示できます ほとんどの色や画像のワークフローは sRGBを使う傾向があり 標準的な色範囲を表示するもので 多くのモニター上で 何十年も使われてきました これでも見た目の良いコンテンツを 作成する事はできますが Apple製品に組み込まれている 美しく幅広いディスプレイを 十分に活用しているとは言えません 代わりにDisplay P3の カラープロファイルを利用すれば RealityKitがこれらの ディスプレイに提供する より幅広い色範囲を使う事が できるようになります Display P3でオーサリングされた テクスチャを念頭に置いて 適切なタグをつければ はるかに広い範囲の色が表現でき より深く より浸透するトーンも出ます この効果は微妙かもしれませんが さらに生き生きとした 本物に近い見た目のアセットを 作成できるようになります リッチになった赤と 豊かな緑が分かるでしょうか 一番重要なのは 色空間のタグ付けが コンテンツ作成時に 予想外の色のズレが無いように 自分の見た通りの色を 正確に表すという事です MaterialXとColor Managementは USDエコシステムのための 非常に素晴らしい新機能です Appleのプラットフォームや より優れたエコシステムのための USDの新機能をほかにも みなさんに紹介します Apple提供のすべてのアプリは MotionやQuick Lookなどが含まれますが 更新されてさらに効率が上がった USDの恩恵を受けられます USDのサポートする 幅広いオブジェクトタイプは スキーマとも呼ばれます 今回のアップデートで macOSのプレビュー内の Stormレンダラーが さらに多くのUSDスキーマや 機能のレンダリングを サポートできるようになりました Apppleのレンダラの機能やスキーマが 新たにどのプラットフォームにおいて サポートされているのか ドキュメンテーションも更新し続けます それに加え ビヘイビアにおける そのほかの変更についても触れるので 動画説明にリンク付けされている ドキュメンテーションを ぜひ定期的にアップデートしてください USDはカスタムのスキーマタイプにも 対応しています そして今年 RealityKitが導入する 新しいコンポーネントスキーマはxrOSの エンティティコンポーネントシステム 略してECSのためのものです RealityKitのECSは コンポーネントデータ自体から データを処理するシステムを分割し 3Dコンポーネントとの共存を可能にします このようなカスタムスキーマのおかげで 埋め込みコンポーネントには RealityKitComponentが Swiftカスタムコンポーネントには RealityKitCustomComponentが 使えるようになりました Swiftコンポーネントの構造体や辞書は 同等のRealityKit USDスキーマに よって表示されます また RealityKitは さらにイマーシブなオーディオを作るのに RealityKitのAudio Fileや Audio File GroupやMixGroupを使って UDSのspatialAudioを土台に 築き上げられていきます USDはその階層内のオブジェクトを USDプリムと呼びますが カスタムコンポーネントデータを USDプリムとして表示する USDファイルを見ていきましょう これによってカスタム コンポーネントデータは ジオメトリなどの他のプリムと共存できます これはすべてUSDなので USDプリムをオーサリングできる どんなアプリを使用しても シーンのほかの部分と 直接プリムが共有できます これは対応するSwift Componentと 一致するので 自分のUSDコンポーネントからの これらの値を読むのに使えて この例ではアプリの異なるオブジェクトに 関連するスペシフィックエンゲージメント ポイントがあるかもしれません Reality Composer Proを使った アプリの作成に関するトークで 詳細を確認してください こういったテクノロジーの成長に対し 我々が貢献し続けるのは エコシステムが成長すれば 誰でも更に容易にコンテンツが 作成できるようになるからです Pixarやコミュニティと共に 手がけたソフトウェアパッケージは数多く それらは今ではOpenUSDウェブページの USDをサポートしています このおかげでクリエイターは Macでの既存のワークフローで USDベースのコンテンツを作成するのが いかに簡単であるかが分かります また iOSなどの モバイルプラットフォームでも USDの作成が容易になるように 作業を進めてきたので デベロッパの方々も自分のアプリの中に USDを統合できます そうすれば イマーシブなUSDコンテンツを オーサリングできる アプリが作成できるようになります それに加え 我々は協働して USDライブラリへの依存性を 削減しようと努めていて 最小の作業だけで すべてのプラットフォームにおいて USDを簡単に使えるように する事を目指しています USDはHydraと呼ばれる テクノロジーを含んでいて これはレンダラのための 抽象化プラットフォームであり StormはHydraを利用する リアルタイムレンダラです AppleはPixarと協働して StormにMetalのサポートを加え 我々のモダングラフィックスの APIを利用する事で デベロッパが ハイパフォーマンスな GPUベースのAppを Appleのプラットフォームで 作成できるようになります このパフォーマンスが役立つ シナリオを一つ見てみましょう Animal Logic ALabのシーンは 多くの長編映画レベルのアセットの 分かりやすい例です 最大解像度だとこのシーンは 26GB以上のグラフィックメモリを占め 以前ならデスクトップ型 ワークステーションGPUが必要でした 今では Hydra StormのMetalと Appleシリコンのユニファイドメモリで これほど要求度の高いシーンでさえも MacBook Proでの作業が 出先でできるようになり インタラクティブなパフォーマンスも そのままです また Stormでのこの高性能な レンダリングで Blackmagic DesignがUSDの 高速ビューポイントレンダリングを DaVinci ResolveのFusionに 追加できるようになっています ここ数年でのコラボレーションを 土台にして オープンソースのMaya USDプラグインを Autodeskと共に磨き続けていきます Appleはそのプロジェクトに 幾つかの貢献をしていて アセットのためのジオメトリやマテリアルの エクスポート強化がその例です また アニメーションインポートにも 改善を加えました これらはすべて xrOSの 空間コンテンツを作成するための シームレスなワークフローを 実現しやすくしてくれます これらの機能のいくつかは Maya USDの今後のリリースで 出てくるかもしれないため プラグインを常時 更新しておく事を お勧めします また 協働してきた相手には Blender Foundationや 多くの個人やパートナーもいて 例えば AMDや NVIDIAやUnityが オープンソース3Dアプリの Blenderにアップデートを行っています このようなコラボレーションで Blender ３.5でのUSDの インポートやエクスポートは 著しく改善されました USDZのサポートも初めて含まれ それによって直接Quick Lookに行けます またAppleは Blender Foundationと共に EeveeやCyclesレンダラーへの Metalサポートを導入しました Blender 3.5ではBlenderを 完全にネイティブな Metalアプリとして実行できるので UIやビューポートや 最終レンダーがスピードアップします 最終レンダーは CPUベースの レンダーと比較すると GPU使用では 最速で 半分の時間で完成する事が可能で ビューポートは 特定のシーンでは 最高でOpenGLの4倍の速さで レンダリングできるようになりました 以上で USDエコシステムにおける 新機能の概要は終わりです xrOSはアプリや体験に 真新しい次元を加えるもので その土台となっているのは USDなどのテクノロジーです 是非 関連トピックの Quick Lookや Reality Composer Proについての トークもチェックしてください これらのオープン標準への コラボレーションで 我々は力強いエコシステムを構築し xrOSやそのほかの全プラットフォームで 容易にコンテンツの作成が できるようにしていきますので みなさんも素晴らしいものを 作成してください ♪