visionOSにおけるオブジェクトトラッキングの詳細

visionOSにおけるオブジェクトトラッキングの詳細

実世界のオブジェクトをvisionOSアプリ内の仮想アンカーに変換する、オブジェクトトラッキングの使用方法を説明します。オブジェクトトラッキングを使用して空間体験を構築するプロセスの全体を学ぶことができます。Create MLでの機械学習を使用して参照オブジェクトを作成し、Reality Composer Pro、RealityKit、ARKit APIのターゲットオブジェクトに関連するコンテンツをアタッチする方法もご紹介します。

関連する章
- 0:00 - Introduction
- 5:07 - Create reference object
- 9:28 - Anchor virtual content
リソース
関連ビデオ

WWDC24
WWDC23
- iOSのObject Captureについて
ダウンロード

「Explore object tracking for visionOS」へようこそ Object Trackingチームのエンジニア Henningです本セッションでは実世界のオブジェクトをバーチャルアンカーに変換する方法を紹介します新しいオブジェクトトラッキングの技術を使用して visionOSアプリで生き生きとさせることができます空間体験の構築で Reality Composer Proや RealityKit、ARKitフレームワークをすでに使用したことがあるかもしれませんまたバーチャルオブジェクトを人々の周囲にアンカーするという概念について馴染みがあるかもしれません例えば visionOSアプリでは RealityKit APIやARKit APIを使用して平面画像手に関連してコンテンツを配置できますアンカーはイマーシブ体験の優れた出発点となり現実とバーチャルの境界線を曖昧にしますオブジェクトトラッキングを使用して実世界のアイテムをアンカーとしてアプリで使用するサポートを追加しました身の回りのものを一目見るだけで有用な情報が表示されるようになることを想像してみてください家電製品や機器の使い方をバーチャルなマニュアルで確認できたり収集物やおもちゃに命が吹き込まれイマーシブなストーリーテリング体験に導かれたりするのです魔法みたいですよね実際にお見せしましょうこれは私の空間のビューでテーブルの上にいくつかのアイテムが置いてあります地球儀顕微鏡オシロスコープですオブジェクトトラッキングを使うとアプリはこれらの位置と向きを取得できますご覧のように座標系とバウンディングボックスで表現されます空間座標におけるオブジェクトの正確な位置情報をアプリに提供できたのでもう一歩進めて興味深いコンテンツで補強していきましょう先ほどと同じ地球儀ですが今回はバーチャルラベルが付いていますタップすると追加情報が表示されると書いてありますタップすると地球儀の周りを周回するオブジェクトが現れました私の部屋の宇宙に向けてスペースシャトルも発射されましたバーチャルな月と宇宙ステーションは地球儀の裏に回るとちゃんと隠れますいいですね体験がよりイマーシブ感を高めてくれますしかも地球儀をもう一度タップすると地球の内核が見えるようになりましたすごいですね！
以上は私の身の回りのオブジェクトで作成した1つの例に過ぎませんみなさんも身の回りのオブジェクトに命を吹き込むことができますオブジェクトトラッキングでそれを実現する方法を説明します
オブジェクトトラッキングをアプリで非常に簡単に使えるようにしました使用手順はたったの3ステップですまずは 3Dモデルの準備ですこれはトラッキングする実世界のオブジェクトのモデルです 3Dモデルがまだない場合は簡単に使用できるツールがいくつかあります次はこのモデルを使用してオブジェクトトラッキングに必要な機械学習モデルをトレーニングしますトレーニングではこの3Dアセットを Create MLアプリにインポートしますトレーニングが完了すると参照オブジェクトが得られますこれは今年オブジェクトトラッキングに導入された新しい種類のファイルです
最後にこの参照オブジェクトをアプリで使用してバーチャルコンテンツをアンカーし体験を構築しますこの最後のステップで使えるツールとフレームワークがあるので後ほど例をいくつかご紹介しますまずオブジェクトトラッキングに必要な 3Dモデルについて説明します
先述の通り Create MLアプリでオブジェクトのための機械学習モデルをトレーニングするには 3Dアセットが必要ですこの3DアセットはUSDZファイル形式でなければなりません最高のトラッキング品質を確保するためにアセットはできる限り写真のようにリアルである必要があります基本的に実世界のオブジェクトのデジタルツインを目指しています写真のようにリアルな3Dモデルを用意するための簡単な方法は Object Capture技術を使用することです必要なものはiPhoneまたはiPadだけですオブジェクトに光沢や透明な部分がある場合は別のワークフローで取得したマルチマテリアルアセットを使用することもできます Object Captureの詳細やベストプラクティスについては「Meet Object Capture for iOS」のセッションをご覧ください
次はオブジェクトトラッキングでサポートされるオブジェクトを見ていきましょう空間内でめったに動かないオブジェクトが最適ですまた形状やテクスチャの外観が変わらない点も重要です最後に非対称な形状であることを強く推奨しますどの方向から見ても特徴が明確であることが望ましいためです先ほどの地球儀は球形ですがテクスチャが非対称なので条件に適合します地球儀をキャプチャする際はオブジェクトの堅固な部分のみがトラッキングの設定に使用されるようにスタンドを取り外しました
ではあなたのオブジェクトやコンテンツでこれを実現するための必要な手順を詳しく確認しましょう基本的な事柄については先ほど説明したのでこのセクションでは詳細を説明しますまず参照オブジェクトの作成方法について説明します次に既存ツールを使用して実世界のアイテムにバーチャルコンテンツをアンカーする方法を例を示しながら説明しますまず参照オブジェクトの作成から始めましょう先ほども説明しましたがオブジェクトトラッキングではターゲットとなるオブジェクトごとに機械学習のトレーニングが必要です Create MLアプリにはトレーニングのプロセスが統合されており簡単に実行できるためこのタスクに最適です機械学習のトレーニングはすべて Mac上でローカルに実行されます
Create MLアプリを起動してまずテンプレートを選択します Image Classificationや 2D Object Detectionなどがあります今年新しいカテゴリとして Spatialが導入され Object Trackingテンプレートが追加されました
トレーニングのワークフローは3つの簡単なステップがありますまず USDZアセットを使用してトレーニングセッションの構成を行います次に Mac上のローカル環境で MLモデルをトレーニングします最後に参照オブジェクトを保存して Apple Vision Pro上で空間体験を構築します先にお見せした例を使用してこのワークフローを実際に進めてみましょう Object Trackingテンプレートを使用して新規プロジェクトを作成すると Create MLは空の3Dビューポートでトレーニングの構成画面を起動します次は USDZファイルをデスクトップからこのビューポートにドラッグ＆ドロップします
ここでは 3Dアセットとして先ほどの地球儀を使用しています 3Dビューポートは非常に便利です 3Dモデルを様々な角度から確認し実世界のオブジェクトと一致しているかどうか確認できます右下に表示されるスケールがオブジェクトの実寸と一致していることを確認するのが良いでしょう
プロジェクトに複数のオブジェクトを追加してトラッキングすることもできます先ほど示した例と同様です左側のメニューのの横のアイコンをクリックして別のUSDZアセットをインポートするだけですモデルのトレーニングの開始前に必要な構成のステップがもう1つありますアイテムに対する最適な視野角の選択ですこれによりオブジェクトの種類や典型的な空間での配置方法に応じてオブジェクトトラッキングの体験を最適化できます例えば静止オブジェクトの多くは直立した状態や正面からしか見られない場合がありますこの情報を活用して機械学習のトレーニングを行うことで高品質なトラッキングを実現できます選択できる視野角のカテゴリはの3つです 1つずつ詳しく確認しましょう 3Dビューポートの下に視野角の選択セクションがあります先ほど追加した地球儀のアセットの実物を見てみましょうご覧の通りスタンドがついており重力と一致しない軸で回転させることができるのがわかります地球儀はあらゆる角度から見るものなので構成ビューではを選択しますこのオプションを使用する場合トラッキングの品質を高めるためにはどの角度から見てもオブジェクトの外観が異なっていなければなりません別のアイテムを見てみましょう顕微鏡は通常平面上に置かれ重力と一致していることが想定されますそのためを選択しますこの場合下からの視野角は除外されます最後に 3つ目のオシロスコープを見てみましょうこのオブジェクトも平面上に立っていると想定しますが背面からの視野角はトラッキングする必要がないのでを選びますこのモードでは背面と下からの視野角は除外されオブジェクトトラッキングの対象は空間体験において重要な部分に制限されます
ご覧のように 3Dビューポートには地面と背面が表示され 3Dモデルの上方向と前方向を指す 2本の軸が延びています 3Dモデルの向きが後ろ向きなどになっている場合はトレーニングを実行する前に Reality Composer Proを使用して修正することができます以上で構成が完了しトレーニングを開始する準備が整いましたプロジェクトに戻り左上のボタンをクリックするだけですすぐにトレーニングが開始され進行状況バーでプロジェクトのステータスを把握できます参照オブジェクトのトレーニングは数時間かかることがあります正確な所要時間は Macの構成によって異なりますなおトレーニングはAppleシリコン搭載の Macでのみサポートされています
トレーニングが完了したらタブに移動して生成された参照オブジェクトを保存します
Create MLアプリはXcodeのメニューにあります Create MLは幅広いタスクに対応しておりオブジェクトトラッキング以外の機械学習モデルもトレーニングできます Create MLについて詳しく知りたい方は「What’s new in Create ML」をご覧ください次にこの参照オブジェクトにバーチャルコンテンツをアンカーする方法ですトラッキングされたオブジェクトを使用してイマーシブ体験を構築する方法は複数あります Reality Composer Proを使用してバーチャルコンテンツをアンカーしたり新しいRealityKit APIやARKit APIを使用することもできます私はReality Composer Proで制作プロセスを始めるのが好きですバーチャルコンテンツを直感的な方法で編集して配置できるからです
まず visionOSアプリのテンプレートから Xcodeの新規プロジェクトを作成します
自動的にデフォルトのシーンが作成され Reality Composer Proで開くことができます Reality Composer Proに切り替えます先ほどと同じデフォルトのシーンがありデフォルトの球形は削除できます
このシーンではまず空のTransformエンティティを作成して Anchoringコンポーネントを追加します
このエンティティがオブジェクトアンカーのコンテナになりますオブジェクトトラッキングをスムーズに行えるよう新たに導入された Objectというターゲットを選択します
次に Create MLで作成した参照オブジェクトをインポートし先ほどのAnchoringコンポーネントに関連づけます
この例では Reality Composer Proを使用していますが RealityKit APIを使用して Anchoringコンポーネントを実行時に作成することもできます次に進みましょうビューポートには視覚的なガイドとして元のUSDZモデルが半透明で表示されますこのガイドはターゲットオブジェクトの特定の部分にコンテンツを正確に配置する必要がある場合に特に役に立ちます先ほどの地球儀の体験で使用したシーンを見てみましょうこの例でイマーシブな効果を出すためにどのような設定を行ったかご説明します
地球儀から直接スペースシャトルが発射されたのを覚えていますか？実は発射地点として特定の場所を選んでいますフロリダ州のケープカナベラルです
ビューポートの視覚的なガイドを使用するとこのスポットを地球儀上で簡単に見つけてスペースシャトルのエンティティを設定できますもう1つのイマーシブな効果としてバーチャルな月と宇宙ステーションが地球儀の裏に回ると見えなくなりましたどのように消失させたのかを見てみましょう月と宇宙ステーションにタイムラインアニメーションを使用して地球儀の周りを周回するように設定していますこのシーンでは別のUSDZの地球儀エンティティを子ノードとしてアンカーエンティティにアタッチし遮蔽物となる図形として使いましたオブジェクトトラッキングは親のアンカーエンティティの変換を更新するためこれにより遮蔽物が実物の地球儀と同じ場所に配置されますこの部分では ShaderGraphエディタを使用して USDZの地球儀エンティティに遮蔽用のマテリアルを適用できますこれで周回するオブジェクトが地球儀の裏に回ると姿を消すようになります
最後に遮蔽物となるこのエンティティにタップジェスチャを追加し Behaviorsコンポーネントを使用して 2つの体験が切り替わるようにしましたここまでで構築したものを Apple Vision Proで確認してみましょうタップすると最初のアニメーションが始まり周回するオブジェクトが出現して地球儀の裏に回ると姿を消します
いいですね！ 2つ目のアニメーションはどうでしょうもう一度タップするとこちらも想定通りにうまくいきましたすべて順調ですが現時点ではこの体験を開始する方法がわかりません特に初めてのユーザーはどのオブジェクトを探せばいいか分からないでしょうこれを改善するためにコーチングUIをアプリに追加してターゲットオブジェクトのプレビューを表示しオブジェクトトラッキングによって検出される時点まで表示し続けますまた地球儀とインタラクションする方法を示すためにバーチャルラベルも追加しました RealityKit APIにはこれらすべてとさらに様々なことを実現するための広範なツールセットが備わっていますコーチングUIを実装する手順を説明しますまずプレビュー用の3Dモデルを表示して空間内の適切なオブジェクトを見つけやすくしますコーチングUIはアンカーの状態の変化に反応する必要があるのでアンカーの状態をコードで確認しますオブジェクトトラッキングが開始されたら表示された3Dモデルがアンカーエンティティの位置まで移動する様子をトランジションで示しますその後地球儀をタップするように指示するバーチャルラベルを追加しますこのサンプルコードはコーチングUIでターゲットオブジェクトの 3Dモデルを表示する方法を示すものです ARKit APIを使用して参照オブジェクトファイルから 3Dモデルを取得しほかのモデルエンティティと同様に USDZファイルを読み込みますプレビュー用のエンティティであることがわかるように不透明度を50%に設定しました最後にエンティティをシーンに追加して表示します
オブジェクトがトラッキングされているか確認するためにまず Reality Composer Proで作成済みのオブジェクトのアンカーエンティティを見つけます次にupdateループ内でエンティティの isAnchoredフラグのステータスを調べて両方のケースでの表示内容を決定しますトランジションのアニメーションではオブジェクトのプレビューはトラッキング開始後対象のオブジェクトに向かって移動するようにしますそのためにはアンカーの変換データの取得が必要です SpatialTrackingSessionを使用して適切な認証をリクエストします認証後オブジェクトアンカーの Transformにアクセスして Transformを使用するアニメーションを実装します
最後に地球儀の近くに体験を開始する方法を記載したバーチャルラベルを追加します RealityViewアタッチメントを使うと RealityKitのアンカーエンティティに SwiftUIの要素を簡単に配置できますまず RealityViewの下の attachmentsセクションで SwiftUIの要素を定義しますこれで sceneの設定でこのUIエンティティを見つけて Reality Composer Proで定義した参照Transformの子ノードとして追加できますここまで追加した部分を Apple Vision Proで確認しましょう地球儀が検出されていない時点ではアプリがターゲットオブジェクトのプレビューを表示し何を探せばよいか案内してくれますトラッキングが開始されるとプレビューがターゲットオブジェクトに向かって移動してユーザーの視線を導き体験の開始方法を表示するバーチャルラベルが表示されますうまくいきましたね！さてここでまとめましょう
オブジェクトトラッキングのための新しいARKit APIが今年リリースされます先ほどご覧いただいたようにこのAPIではトラッキングされたオブジェクトのバウンディングボックスや対応するUSDZファイルにアクセスできますこのAPIはオブジェクトにおけるトラッキングへの準備状況や問題の有無に関する詳細な情報を提供してくれるので問題などのイベントが発生してもアプリが適切に対応できます APIに加えオブジェクトトラッキングのサンプルアプリも公開されますぜひダウンロードしてデバイスで試してみてください詳細については「Create enhanced spatial computing experiences with ARKit」をご覧ください以上 visionOSでのオブジェクトトラッキングについて説明しました空間コンピューティングでは実世界のアイテム上へのバーチャルコンテンツの正確な配置が必要でありオブジェクトトラッキングはこの分野を進化させます本セッションではこの新しい技術で何を実現できるかご紹介しましたがご紹介したのはほんの数例にすぎません Reality Composer Proと RealityKitにはご紹介した例に留まらない優れた空間体験を構築するための素晴らしい機能が多数備わっていますこれらに関するセッションでぜひ詳細を学んでくださいみなさんがどのようなアイデアやオブジェクトに命を吹き込むかチーム一同楽しみにしています

13:55 - Coaching UI - display object USDZ preview

// Display object USDZ
struct ImmersiveView: View {
   @State var globeAnchor: Entity? = nil
    var body: some View {
        RealityView { content in
            // Load the reference object with ARKit API
            let refObjURL = 
            Bundle.main.url(forResource: "globe", withExtension: ".referenceobject")
            let refObject = try? await ReferenceObject(from: refObjURL!)

            // Load the model entity with USDZ path extracted from reference object
            let globePreviewEntity = 
            try? await Entity.init(contentsOf: (refObject?.usdzFile)!)

            // Set opacity to 0.5 and add to scene
            globePreviewEntity!.components.set(OpacityComponent(opacity: 0.5))
            content.add(globePreviewEntity!)
        }
    }
}

14:13 - Coaching UI - check anchor state

// Check anchor state
struct ImmersiveView: View {
   @State var globeAnchor: Entity? = nil
    var body: some View {
        RealityView { content in
            if let scene = try? await Entity(named: "Immersive", in: realityKitContentBundle) {
                globeAnchor = scene.findEntity(named: "GlobeAnchor")
                content.add(scene)
            }
            let updateSub = content.subscribe(to: SceneEvents.AnchoredStateChanged.self) { event in
                if let anchor = globeAnchor, event.anchor == anchor {
                    if event.isAnchored {
                        // Object anchor found, trigger transition animation
                    } else {
                        // Object anchor not found, display coaching UI
                    }
                }
            }
        }
    }
}

14:31 - Coaching UI - Transform space with SpatialSession

// Transform space
struct ImmersiveView: View {
   @State var globeAnchor: Entity? = nil
    var body: some View {
        RealityView { content in
            // Setup anchor transform space for object and world anchor
            let trackingSession = SpatialTrackingSession()
            let config = SpatialTrackingSession.Configuration(tracking: [.object, .world])
            if let result = await trackingSession.run(config) {
                if result.anchor.contains(.object) {
                    // Tracking not authorized, adjust experience accordingly
                }
            }
           // Get tracked object's world transform, identity if tracking not authorized
            let objectTransform = globeAnchor?.transformMatrix(relativeTo: nil)
            // Implement animation
            ...
        }
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24

WWDC23