iOSのObject Captureについて

iOSのObject Captureについて

iOSアプリで直接エンドツーエンドのObject Capture体験を提供し、ユーザーがオブジェクトをすぐに使える3Dモデルに変換できるようにする方法を紹介します。サンプルアプリを使用して、完全に自動化されたObject Captureのスキャンフローを作成する方法と、モデルに最適なコンテンツを自動的にキャプチャする方法をご紹介します。また、LiDARデータの解説やオブジェクトをスキャンするためのベストプラクティスも共有します。

リソース
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
- Reality Composer Proについて
ダウンロード

♪ メロウインストロメンタルヒップホップ ♪ ♪ Lei Zhou:こんにちは Object Capture TeamのLeiですこのセッションでは同僚のMonaと一緒に iOSのObject Captureを紹介しますその前にObject Captureとは何か現在の仕組みをおさらいしておきましょう Object Captureは最先端のコンピュータビジョン技術により様々な角度から撮影された一連の画像から本物そっくりの3Dモデルを作成しますこの画像をMacに転送し Object Capture APIを使用し数分で3Dモデルを再構築できます Mac用APIのリリース以来多くのアプリが Object Captureを活用して高品質の3Dモデルを制作しているのを目にしましたそして皆様から多くのご意見をいただきましたついにObject Captureの体験を iOSに提供するための大きな一歩を踏み出しましたつまりユーザーフレンドリーなインターフェースとデバイス上でのモデル再構築でキャプチャと再構築の両方を手のひらの上で行えるようになったのですまたこのワークフローを iOSで実演するためのサンプルアプリも提供します実際に見てみましょうサンプルアプリを使って美しい花瓶の3Dモデルをさっと作ってみますサンプルアプリを開きオブジェクトに向けますキャプチャを開始する前に自動生成された境界ボックスが表示されます Object Captureが自動で画像をキャプチャする間対象物の周りをぐるりと囲みますより多くの画像が必要な領域を視覚的にガイダンスしさらにフィードバックメッセージを提供することで最高品質の写真を撮影できるようになります 1周し終えたらオブジェクトを反転させて底を撮影します 3つのセグメントのスキャンが完了したら今度はiOSデバイス上でローカルに実行される再構築ステージに進みますわずか数分でUSDZモデルが使えるようになります開発者向けドキュメントの一部としてこのアプリのソースコードを提供しているのでダウンロードしてすぐにお試しいただけますまた独自アプリを作成する際の取っ掛かりとしても利用いただけますさて新しいサンプルアプリで Object Captureのデモを見たところで今年の新機能の紹介に移りますまずLiDARを使用しより多くのスキャンをサポートできるようになったという Object Captureにおける改良点を紹介します次にオブジェクトのデータキャプチャを簡略化するガイド付きキャプチャ機能のデモを行います次にObject Capture APIを使って iOS上でのObject Captureフローの作成方法を説明します最後にモデル再構築機能の新たな強化点を紹介しますまずLiDARによる対象オブジェクトの拡大を確認してみましょう高品質な3Dモデルを作るには良質な特徴を持つものを選択することが重要です Object Captureシステムは十分なテクスチャの詳細を持つオブジェクトの場合に最適な挙動になります今年はさらに改良を加えました LiDARスキャナを活用しテクスチャの少ないオブジェクトの再構築をサポートしましたこの椅子を例にとって見てみましょうテクスチャの詳細に欠けるため Object Captureで良いモデルを作成するのは困難ですしかしLiDARを使うことでより高品質に再構築することができるようになりましたキャプチャ時に椅子の RGB画像を撮影していますしかし座面や背面にはテクスチャがないため完全なモデルを復元することはできません RGB画像に加え LiDARによる点群データも APIで収集しますそれによって対象物の 3D形状を網羅的に表現しカバー率と密度を高めることができます最後に融合された点群データから完全な3Dモデルが生成されます LiDARを活用することで質感が向上した物体のモデルの例がこちらです
ローテクスチャのオブジェクトがこの度サポートされますが一部のオブジェクトにはまだ課題が残されています反射するもの透明なもの非常に薄い構造のものは避けたほうがよいでしょうさてどんなオブジェクトをサポートしているか確認したところでガイド付きキャプチャを使用してオブジェクトをスキャンする方法を詳しく見ていきましょう画像やLiDARデータを自動的にキャプチャするガイド付きキャプチャを提供しますまたキャプチャの際に役立つフィードバックも提供しますさらにオブジェクトを反転させるべきかどうかのガイダンスも提供します手動で良い画角を選んでボタンを押すのではなくデータ取得を自動化します対象物の周りを一周するとシャープネス鮮明度露出の良い画像ショットが自動的に選択され様々な画角からLiDARポイントをシステムが収集します被写体の細部までキャプチャするにはできるだけ多くの角度から撮影することをお勧めしますどの部分に十分な画像があるかを示すキャプチャダイヤルを提供します対象物をあらゆる角度からスキャンすることでキャプチャダイヤルを完全に埋めることを推奨しています自動キャプチャに加えキャプチャ時のリアルタイムフィードバックを提供しみなさんをサポートしますまず正確な色を表現するために良い照明環境であることを確認します暗すぎる場合は照明の調節を促すようなお知らせが表示されます物体表面での反射やハイライトを抑えるために拡散照明を使用することをお勧めします次にブレを防ぐためカメラを安定させながらゆっくり滑らかに被写体の周りを移動させることですスピードが速すぎると自動キャプチャが停止してスピードを落とすように指示します 3つ目はカメラと被写体の間に適切な距離を保ち被写体がカメラのフレームに適切に収まるようにすることです距離が遠すぎたり近すぎたりするとリマインダーのテキストが表示されます最後に常にオブジェクトをフレーム内に入れておくことです視野から外れると自動撮影は一時停止され矢印マークが表示され視野の向きを調整することができます
オブジェクトの完全な 3Dモデルを得るためにはすべての側面をキャプチャすることが重要ですそのためにはオブジェクトを反転させることが有効ですしかし物体を反転させるかどうかはその物体の性質によって異なります対象物が硬い場合は反転させるのがよいでしょうしかし変形してしまうようなオブジェクトの場合形状が変わりやすいので動かさない方が良いでしょうテクスチャが豊富なオブジェクトでは反転を推奨しますが対称的なテクスチャや反復的なテクスチャを持つオブジェクトの反転はシステムにとって誤解を招く可能性があるため避けることが重要ですまたテクスチャのないオブジェクトの反転は異なるセグメントをつなぎ合わせるために十分なテクスチャが必要なため Object Captureでは困難な場合がありますそのためにオブジェクトが反転に十分なテクスチャを持っているかどうかを示唆するAPIを提供しています反転させる場合は 3つの方向からスキャンするとすべての面の画像が得られますまた被写体表面への影や映り込みを最小限に抑えるために拡散光を使用するのがベストです異なるスキャンパス間の画像の重なりも重要ですスキャンパスにおけるオブジェクトの一部は前のパスでキャプチャされている必要があります物体を正しく反転させる方法を視覚的にガイドします反転できないものは 3つの高さから撮影していろいろな角度から撮影することをお勧めしますテクスチャのないオブジェクトはテクスチャのある背景に置いて目立たせることをお勧めします Object CaptureはiPhone 12 Pro iPad Pro 2021 およびそれ以降のモデルで利用できますお使いのデバイスがObject Captureに対応しているかどうか簡単に確認できるAPIを提供しています次にMonaから Object Capture APIについて詳しくお伝えします Mona Yousofshahi: ありがとう Lei サンプルアプリの動作を確認したところで Object Capture APIを使用してアプリを作成した過程を確認しましょうデモでご覧いただいたように Object Captureは画像キャプチャとモデル再構築の 2つのステップがありますまずイメージキャプチャから見てみましょう Image Capture APIはセッションとSwiftUIビューの 2つのパートを持ちますこのセッションではイメージキャプチャ中のステートマシンのフローを観察し制御することができます SwiftUIビューはカメラのフィードを表示しセッションの状態に基づいて提示するUI要素を自動的に適応させますこのSwiftUIは 2Dテキストやボタンがありませんこれによりアプリの見た目をカスタマイズしたり既存のアプリにObject Captureをより簡単に取り入れることができます Object Captureのステートマシンを詳しく見てみましょうセッションは作成時に初期化状態で開始されますその後関数コールをして進めていきます ready detecting capturing finishingとセッションが移行していきます finishingステートになるとセッションは自動的に completedステートに移行しますこの時点で安全に分解してオンデバイスでの再構築に進むことができますでは実際の使い方をみてみましょうまずRealityKitとSwiftUIをインポートして始めますそしてObject Capture セッションのインスタンスを作成参照型なのでセッションが完了するまで永続的な状態としてグランドトゥルースデータモデル内に保存することをお勧めしますこれによりセッションは初期化状態で開始されます続けてキャプチャした画像を保存するディレクトリを指定して start()関数を呼び出しますまた設定にチェックポイントディレクトリを設け後でそれを使って再構成処理を高速化することも可能ですこの呼び出しの後セッションは readyステートに移行します ObjectCaptureViewでセッションを利用する方法の紹介です他のSwiftUIビューのように ObjectCaptureViewを使用しますそれを別のビューのbody内に配置し先ほど作成したグランドトゥルースセッションを渡します ObjectCaptureViewは常にセッションのステートに対応したUIを表示しますこのreadyステートのようにビューにはカメラのフィードが表示されレチクルを使ってキャプチャするオブジェクトを選択するようガイドしますステートを進めるにはアプリがセッションにオブジェクト検出の開始を指示するUIを提供する必要がありますここではObjectCaptureView上に続行ボタンを重ねています押されるとstartDetecting()関数を呼び出して境界ボックス検出ステートに移行します detectingステートでは現在検出されているオブジェクトを囲む境界ボックスが表示されるよう自動的にビューが変更されます必要に応じて境界ボックスのサイズや向きを手動で調整することができますまたサンプルアプリでは別のオブジェクトを選択したい場合に備えオブジェクトの選択処理を再開できるようリセットボタンを用意していますこれによりセッションは readyステートに戻ります readyからdetectingへの移行と同様にオブジェクトの選択に満足したらキャプチャを開始するようセッションに対し指示するボタンを提供する必要がありますここではstartCapturing()関数を呼び出すキャプチャ開始ボタンを使用していますこの呼び出しの後セッションは capturingステートに移行します capturingステートでは対象物の周りをゆっくり移動しながらセッションが自動的に撮影を行いますこのビューでは点群と対象物の十分な画像を収集できた場所とまだキャプチャが必要な場所を示すキャプチャダイヤルが表示されますキャプチャダイヤルが完全に埋まるとスキャンパスが完了しますキャプチャダイヤルが完了するとセッションは userCompletedScanPass プロパティをtrueに設定しますこの時点でサンプルアプリはセッションを終了するかさらに撮影を続けるかの選択肢を提示します各オプションにボタンを割り当てています最良のモデル再構築のためには 3回のスキャンパスを完了することをお勧めします次のスキャンパスへの移行方法を確認しましょうオブジェクトを反転させるかどうかによって 2通りの方法で新しいスキャンパスを開始できます反転させることで現在のパスでは見えないオブジェクトの側面例えばオブジェクトの底面をキャプチャすることができます beginNewScanPassAfterFlip()を呼び出してステートをreadyに戻していますその後新しい方向でボックスセレクションを行う必要がありますもし反転させないのであればその代わりに高さを変えて撮影することもできますこのためにbeginNewScanPass()を呼び出しますこれによりキャプチャダイヤルはリセットされますが境界ボックスは変更されていないためセッションはcapturingステートのままですすべてのパスが完了するとサンプルアプリでは完了ボタンが用意されていますこのボタンはfinish()関数を呼び出し画像の取り込みが終わったことをセッションに伝え仕上げ処理を開始させることができます finishingステートにある間セッションはすべてのデータが保存されるのを待ちます終了するとセッションは自動的にcompletedステートに移行します安心して分解しオンデバイスでの再構築を開始することができます画像ディレクトリが突然利用できなくなるなど回復不可能なエラーが発生した場合セッションは failedステートに移行しますその場合新たにセッションを作成する必要がありますまた点群を表示することでオブジェクトの初期配置や最後の反転からどの部分がスキャンされたかをプレビューできますこれはObjectCapturePointCloudViewと ObjectCaptureViewを入れ替えることで実現しますキャプチャセッションを一時停止し点群に触れてあらゆる角度からプレビューできますここでは文字やボタンと組み合わせて表示していますが点群を全画面表示することも可能ですさて対象物の画像を取り込んだところでその3Dモデルを作成する方法を説明します今年からiOSで再構築APIを実行できるようになりましたこれにより画像の取り込みと再構築を同じデバイスで実行することができますここでは非同期再構築APIの使い方をおさらいしておきます iOSでもmacOSと同じように動作しますまず作成したビューにタスクモディファイアを付けるところから始めますタスクモディファイアではフォトグラメトリセッションを作成し画像をポイントしますオプションとして画像キャプチャ時に使用したものと同じチェックポイントディレクトリを提供することで再構築処理を高速化することができます次にprocess()関数を呼び出して modelFileを要求します最後にループでメッセージストリームを待ち受け受信した出力メッセージを処理します詳しくは前回のトークをぜひご覧くださいモバイルデバイスでのモデルの生成・閲覧に最適化するためiOSでは reduced詳細レベルのみをサポートしています再構成されたモデルには拡散アンビエントオクルージョン法線テクスチャマップが含まれモバイルディスプレイ用デザインになります他の詳細レベルのモデルを生成したい場合は画像をMacに転送して再構築することができます今年のMacでの再構築は画像に保存している LiDARデータも活用しています新しいObject Captureセッションはこのフローにも対応していますデフォルトではiOSデバイスの再構築制限に達すると Object Captureのセッションは画像のキャプチャを停止します macOSの再構築ではデバイス上の再構築が使用できる以上の画像をセッションで撮影できるように変更できますそのためにはセッションの設定で isOverCaptureEnabledを trueに設定しますこれらの追加ショットはデバイス上での再構築には使用されませんがイメージフォルダに保存されます macで画像を再構築するためにはコードを書く必要すらありません Object Captureは Reality Composer Proという新しい macOSアプリに統合されています画像をアプリに取り込み詳細レベルを選択するだけでモデルを手に入れることができますこのアプリについてもっと知りたい方は Reality Composer Proのセッションをご覧ください新しいiOS APIを使った 3Dモデルの作成方法について見てきましたがここでは要望の多かった再構築機能の強化について簡単に説明します macでのモデル品質と再構築処理速度を向上させました進捗率に加え再構築の見込み時間を提示するようにしましたポーズ出力とカスタム詳細レベルの 2つの追加機能についてより詳しく見てみましょう画像ごとに高画質なポーズをリクエストできるようになりました各ポーズにはコンピュータビジョンアルゴリズムに基づきその画像のカメラの位置と向きを推定していますポーズを取得するには process()関数呼び出しにポーズリクエストを追加しますそしてポーズの出力が出力メッセージストリームに送られてきたらそれを処理しますポーズはモデルが生成される前の再構築プロセスの初期に返されることになりますまた今年はmacOS向けに新たにカスタム小足レベルを追加し再構築されたモデルを完全にコントロールできるようになりました従来は reduced medium full rawの詳細レベルから選択することができましたカスタム詳細レベルではメッシュのデシメーション量テクスチャマップの解像度フォーマットどのテクスチャマップを含めるかなどをコントロールできます iOSのObject Captureについては以上となります Object Captureでは LiDARのサポートによりより多くのオブジェクトをスキャン可能になりました iOSデバイス上でモデルを完全にキャプチャし再構築し表示する方法を紹介しました iOSのObject Captureは Eコマースデザイン教育ゲームなどさまざまなアプリケーションで新しいワークフローを実現しますみなさんがObject Captureをどのようにアプリに取り入れるか楽しみにしていますご視聴ありがとうございました！ ♪

10:03 - Instantiating ObjectCaptureSession

import RealityKit
import SwiftUI 

var session = ObjectCaptureSession()

10:25 - Starting the session

var configuration = ObjectCaptureSession.Configuration()
configuration.checkpointDirectory = getDocumentsDir().appendingPathComponent("Snapshots/")

session.start(imagesDirectory: getDocumentsDir().appendingPathComponent("Images/"),
              configuration: configuration)

10:50 - Creating ObjectCaptureView

import RealityKit
import SwiftUI

struct CapturePrimaryView: View {
    var body: some View {
        ZStack {
            ObjectCaptureView(session: session)
        }
    }
}

11:20 - Transition to detecting state

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
        if case .ready = session.state {
            CreateButton(label: "Continue") { 
                session.startDetecting() 
            }
        }
    }
}

11:36 - Showing ObjectCaptureView

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
    }
}

12:04 - Transition to capturing state

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
        if case .ready = session.state {
            CreateButton(label: "Continue") { 
                session.startDetecting()
            }
        } else if case .detecting = session.state {
            CreateButton(label: "Start Capture") { 
                session.startCapturing()
            }
        }
    }
}

12:27 - Showing ObjectCaptureView

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
    }
}

12:50 - Completed scan pass

var body: some View {
    if session.userCompletedScanPass {
        VStack {
        }
    } else {
        ZStack {
            ObjectCaptureView(session: session)
        }
    }
}

14:03 - Transition to finishing state

var body: some View {
    if session.userCompletedScanPass {
        VStack {
            CreateButton(label: "Finish") {
                session.finish() 
            }
        }
   } else {
        ZStack {
            ObjectCaptureView(session: session)
        }
    }
}

15:00 - Point cloud view

var body: some View {
    if session.userCompletedScanPass {
        VStack {
            ObjectCapturePointCloudView(session: session)
            CreateButton(label: "Finish") {
                session.finish() 
            }
        }
    } else {    
        ZStack {
            ObjectCaptureView(session: session)
        }
    }
}

15:50 - Reconstruction API

var body: some View {
    ReconstructionProgressView()
        .task {
            var configuration = PhotogrammetrySession.Configuration()
            configuration.checkpointDirectory = getDocumentsDir()
                .appendingPathComponent("Snapshots/")
            let session = try PhotogrammetrySession(
                input: getDocumentsDir().appendingPathComponent("Images/"),
                configuration: configuration)
            try session.process(requests: [ 
                .modelFile(url: getDocumentsDir().appendingPathComponent("model.usdz")) 
            ])
            for try await output in session.outputs {
                switch output {
                    case .processingComplete:
                        handleComplete()
                        // Handle other Output messages here.
                }}}}

17:02 - Capturing for Mac

// Capturing for Mac

var configuration = ObjectCaptureSession.Configuration()
configuration.isOverCaptureEnabled = true

session.start(imagesDirectory: getDocumentsDir().appendingPathComponent("Images/"),
              configuration: configuration)

18:40 - Pose output

// Pose output

try session.process(requests: [ 
    .poses 
    .modelFile(url: modelURL),
])
for try await output in session.outputs {
    switch output {
    case .poses(let poses):
        handlePoses(poses)
    case .processingComplete:
        handleComplete()
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23