Object Captureのエリアモードの紹介

Object Captureのエリアモードの紹介

Object Captureのエリアモードは、Object Captureの機能を拡張してエリアのキャプチャと再構成をサポートすることで、iOS上で新しい3Dキャプチャ機能を利用できるようにします。再構成用の新しいmacOSサンプルアプリを使用して、iOSキャプチャの質を最適化する方法を説明します。また、Apple Vision Pro、iPhone、iPad、Macで、Quick Lookを使用して最終結果を確認する方法もご紹介します。独自のイメージ処理パイプラインを作成できる新しいAPIなど、強化された3D再構成の機能も見ていきます。

関連する章
- 0:00 - Introduction
- 2:41 - iOS API
- 4:24 - macOS sample
- 6:23 - Data Loading API
リソース
関連ビデオ

WWDC24
- 空間コンピューティング向けに3Dアセットを最適化
WWDC23
- iOSのObject Captureについて
ダウンロード

こんにちは Object CaptureチームのZachですこのセッションでは 3D再構成の柔軟性と品質を高める様々なアップデートを紹介します以前に iOS上で動作する Object Captureを紹介しましたこれはデバイス上で3Dモデル全体を再構成できるガイド付きキャプチャUIです Object Captureが最もうまく機能するのは移動可能なオブジェクトが管理された室内環境に置かれ自由に歩き回ってあらゆる角度から撮影できる場合です例えばこの花瓶の場合横に倒して底面をスキャンすると優れたキャプチャ結果が得られます Object Captureを使用すると美しい完全なオブジェクトを作成できますしかしバウンディングボックスではキャプチャが困難なオブジェクトもあります
そこでエリアモードを導入しました
エリアモードでは起伏のある野外の地形全体を確認できないオブジェクト 2.5次元の面などを容易にキャプチャできますエリアモードで作成したモデルは Apple Vision Proによる3D環境や美術プロジェクトに最適ですでは実際に見てみましょう野外でのアドベンチャーで自然の豊かなテクスチャや3D形状をキャプチャできるのは素晴らしいことですまずサンプルアプリを開いてエリアモードを選択します被写体にカメラを向けてをタップします触覚的なタップを感じ音が鳴り
画像が撮影されるとキャプチャプレビューにパルスが表示されます周囲に注意を払いながらゆっくりと移動しキャプチャされた複数の画像が互いに重なるようにしてください
レチクルはブラシのように機能し表面に沿って移動させ細かい部分をすべて描画できます被写体が近すぎたり遠すぎたりするとレチクルが表示されなくなります最良の結果を得るにはカメラが被写体の各面と平行になるように撮影します
撮影が終わったら新しいカメラポーズの可視化機能を使用し画像をキャプチャした場所を確認できますこれにより現場で必要なすべてのデータが得られたことを確認できます最後にを選択して iPhone上で直接3Dモデルを作成します
すでによくできているように見えますがさらに高品質にする方法を後ほど紹介します
このアプリのソースコードをダウンロードして自分で試したりこれをもとに独自のアプリを作成したりできますエリアモードは創造性の新たな可能性を開き誰でも美しい3Dシーンを作成できるようにします
サンプルアプリでObject Captureのエリアモードのデモをお見せしましたでは今年のエキサイティングな新機能をすべて紹介しましょうまず Object Captureのエリアモードを統合する方法について説明しますつづいてより高品質な再構成を得るための macOSサンプルアプリを紹介します最後に実際のユースケースに適した高い柔軟性を実現する新しいData Loading APIを取り上げます新しいiOS APIから始めましょう
まず Object Captureで最良の結果を得るための考慮事項を確認しますエリアをキャプチャする時は強い影のない拡散光を目指してください屋外では曇りの日や完全に日陰になる場所が最適です規則的なルートでゆっくりと移動し重複する特徴を十分に持つクリアな画像撮影できるようにしますまた異なる高さから被写体の周囲を回りながら撮影しあらゆる角度が見えるようにしてください 6フィートを超えるエリアの場合 Macで高精細処理しない限りメッシュやテクスチャの品質が低下することがあります
Object Captureは iPad Pro 2021 iPhone 12 Pro およびこれ以降のモデルで利用可能ですではアプリにエリアモードを組み込む方法を見ていきましょう昨年はオブジェクトの検出とバウンディングボックスの設定を開始するには startを呼び出してからstartDetectingを呼び出す必要がありましたこのボックスを設定した後 startCapturingを呼び出してキャプチャプロセスを開始しますエリアモードでは設定すべき新しい呼び出しも構成もありませんいたって簡単です startDetectingの呼び出しを省略してそのままstartCapturingへ進みますこれによりご覧のように新しいUIによるエリアモードが始まりますエリアモードにはバウンディングボックスの検出ステップがないので移行を円滑にするためオブジェクトのレチクルフレームをオフにすることをお勧めします使用するモードを事前に把握できるというメリットもありますその方法をご覧に入れます新しいhideObjectReticleモディファイアを ObjectCaptureViewに追加しボタンのタップでエリアモードになることを示しますこれで円滑な移行によってエリアモードになったことが UIに適切に示されます
では MacでObject Captureの新機能を見ていきましょう Macでの処理では多くのオプションと高い品質によりキャプチャした画像を最大限に活用できます新しいサンプルアプリを使えば簡単に始められますこのアプリはシンプルなUIを備え各種3Dモデルの作成をガイドしますまず先ほどキャプチャした画像のフォルダを選択しましょうモデルに名前を割り当て最終的なモデルの保存先を選択します
モデルのタイプとして三角形メッシュまたは今年追加された四角形メッシュを選択できます Object Captureモデルでこの新しい出力タイプを使用するとさらなるクリーンアップ最適化アニメーション化をどのツールでも実行できます
これは三角形メッシュと四角形メッシュの比較ですこれにより UVの編集や3Dオブジェクトのアニメーション化が容易になり後工程で使いやすい適切なエッジループをこのアルゴリズムで作成できます四角形メッシュに加え最大16Kテクスチャのカスタム詳細レベルを設定できるようになりました
大規模なシーンで大きな違いが生まれ VFXなどのオフラインレンダリングで効果を発揮します
16Kテクスチャに加えサポート対象の画像も増えたことでより大きなエリアをこれまで以上の高品質で処理できます大容量のユニファイドメモリ搭載のMacでは最大2,000枚の画像を処理できます
ここで環境を含むように設定し画質としてを選択します
これで処理を開始できます
この処理が終了した後野外で撮影した別の画像を使用して同じ手順を繰り返しますこちらが完成モデルですトリミングして少し編集し Apple Vision Proで使用できるようにしてあります詳しくは Scottのセッション「Optimize your 3D assets for spatial computing」をご覧ください
別の編集を適用し Reality Composer Proで各アセットを組み合わせていますこれで Apple Vision Proのクイックルックでリアルに表示されるはずです大好きなトレイルにまた行くことを思い出させてくれる素敵な記念品です
では今年追加された新たなデータ読み込み機能の説明に移りましょう
キャプチャの背景を制御できない場合やそれが動的に変化する場合は画像ごとにマスクを適用して再構成が必要なフォアグラウンドのピクセルと再構成が不要なバックグラウンドのピクセルを指定しますこの例では手が動いてドラゴンフルーツの一部を覆っているため自動セグメンテーションでアーティファクトが生じることがありますこの問題は再構成に効果的なマスクを追加することによって解決できます
例えば手を除外するビットマップマスクをサンプル画像ごとに作成したとしますこれらを再構成に適用するには？ PhotogrammetrySessionを使用して画像からモデルを再構成しますセッションを作成するための入力ソースは2つあります画像のフォルダと PhotogrammetrySampleのシーケンスですこのカスタムビットマップについては再構成で使用するサンプルにマスクを追加する独自のシーケンスを作成できますサンプルにはいくつかのプロパティを指定できます最も重要なのはRGB画像データですその他距離を復元するための深度マップ垂直方向を示す重力ベクトル付加情報のメタデータディレクトリがありますもちろんここで用意するオプションのオブジェクトマスクもありますそれ以外のデータもすべてサンプルに維持しようと思いますこれまではこれらすべてを手作業で読み込む必要があり極めて複雑な作業でした今年は PhotogrammetrySample向けに新しい読み込みAPIを導入することでこれをシンプルにしていますこのAPIは読み込む画像ファイルを取得しそのすべてのデータプロパティに値を割り当てます DSLRで撮影したJPEGであれば画像が読み込まれるだけですが Object CaptureのUIから得られた画像の場合は深度データと重力も読み込まれます同期バージョンと非同期バージョンの両方を用意している点に注目です SwiftUIのインスペクタのように非同期処理が必要な場合を考慮して非同期バージョンを提供しています一方この後ご覧いただくようにフォトグラメトリセッションでは同期バージョンが必要です
ここでは簡単な関数を作成しています画像のURLを取得して目的の画像のデータを収めた PhotogrammetrySampleと既に読み込んでサンプルに付加したオブジェクトマスクを返しますここで新しいAPIを呼び出しています新しい同期イニシャライザを使用して画像ファイルを読み込みます実行に成功すると画像のすべてのデータを収めた PhotogrammetrySampleが得られます
次に事前に画像ファイルごとに作成して保存済みのオブジェクトマスクを読み込むヘルパー関数があるとしますこのマスクを読み込んで objectMaskプロパティに割り当てます
実行するとサンプルが返されます最後に読み込み中に何らかの問題が発生しエラーがスローされた場合は nilを返すだけとしますこの処理方法は後ほど説明します
サンプルを読み込みカスタムマスクを追加できるようになったのでこのサンプルをシーケンスに配置してカスタムのフォトグラメトリセッションを作成します
再構成で使用するすべての画像の URL配列を受け取るとしますここで必要な処理はこの配列に新しいloadSampleAndMask関数をマップしてセッションへの入力として使用できる遅延シーケンスを作成することだけですここで注意点がいくつかありますまずこの配列を遅延型にしてすべての画像を一度にメモリへ読み込まないようにしますつまりシーケンスごとにセッションが一度に1つずつ読み込まれるようにします次に mapではなく compactMapを使用します CompactMapでは nilである要素がすべて無視されます nilはファイルを読み込めなかったことを意味しますこのシーケンスを入力として使用し再構成のリクエストを通常どおりに処理するセッションのみが返されますこれで完了です希望どおりの再構成が得られましたオブジェクトが手で覆われた時に発生するアーティファクトも回避していますこれまでは深度マップなどのデータの読み込みに数百行の複雑なコードを要しましたが PhotogrammetrySample向けの新しいイニシャライザを使用すれば数行のコードで処理できます既存のデータプロパティの読み込みの他 ObjectCaptureSessionのキャプチャUIで保存したデータを読み込み可能にする新しい読み取り専用プロパティをいくつか用意していますこれらはインスペクタのUIや独自のカスタム再構成パイプラインで有用です各プロパティの詳細はそれぞれのドキュメントをご覧くださいここでは重要な1つの追加点にだけ触れておきます撮影用のカメラのデータです独自のバックエンド再構成パイプラインを作成するためやデータキャプチャの高度な可視化を実現するためにこのデータの使用をお考えの場合 ObjectCaptureSessionでキャプチャした画像には撮影用のカメラトランスフォームがサンプルごとに用意されます可能であれば内部パラメータ行列とカスタムパイプラインで必要なキャリブレーションのデータも提供しますデータ読み込みAPIはフォトグラメトリセッションの作成にこれまで以上の柔軟性を付加すると同時に新しい可視化とカスタムパイプラインに多くの可能性をもたらします
Object Captureについては以上です iOSでのエリアのキャプチャ Macで利用可能なすべてのオプションによる処理 Apple Vision Proでの画像表示について説明しました Object Captureと 3Dモデルの最適化について詳しくはこちらのセッションをご覧ください皆さんの成果を楽しみにしています

8:19 - Data Loading API - load Sample and Mask

func loadSampleAndMask(file: URL) -> PhotogrammetrySample? {
    do {
        var sample = try PhotogrammetrySample(contentsOf: file)
        sample.objectMask = try loadObjectMask(for: file)
        return sample
    } catch {
        return nil
    }
}

9:15 - Data Loading API - create custom photogrammetry Session

func createCustomPhotogrammetrySession(for images: [URL]) -> PhotogrammetrySession {
    let inputSequence = images.lazy.compactMap { file in
        return loadSampleAndMask(file: file)
    }
    return PhotogrammetrySession(input: inputSequence)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24

WWDC23