ARKit 6について

ARKit 6を使用して、強力で洗練された拡張現実Appを構築する方法をご確認ください。4K HDRでレンダリングされたARエクスペリエンスを生み出す方法や、Appのカメラ設定のカスタマイズ方法について解説します。また、ARKitセッションから高解像度の静止画をエクスポートする方法、平面推定やモーションキャプチャの活用方法、新しい地域でARロケーションアンカーを追加する方法も紹介します。

リソース

関連ビデオ

Tech Talks

エンタープライズデベロッパ向けの最新情報

WWDC22

WWDC21

ARKit 5の詳細

ダウンロード

♪ ♪ こんにちは Christianです ARKitチームのエンジニアです「ARKit 6について」のセッションへようこそ拡張現実フレームワークの最新の進化を活用する方法についてご案内しますこの数年間 ARKitを使ってみなさんが創造してきたものを見て嬉しく思っていますインテリアデザイン旅行バーチャル展示会ゲームなど様々な分野で素晴らしいAppを目にすることができます Appleのチームはみなさんからの評価に細心の注意を払いその多くをARKit 6に反映させましたでは見てみましょう今までで最も高画像解像度でカメラストリームを実行する新しい4Kビデオモードを導入していますその後ビデオの背景をより制御しやすくするためのカメラに追加された機能強化についてお話しますまた平面アンカーの動作に関するアップデートモーションキャプチャAPIの追加最後にロケーションアンカーがサポートされる新しい都市について共有します

まず4Kビデオから始めましょうここ数年の間に高解像度コンテンツへの需要が高まり特に拡張現実を活用した映像制作を行うAppはより多くの画素数を渇望しています ARKitで画像がどう記録され処理されるか説明しましょう iPhone 13 Proのカメラモジュールですこれを開いてみるとその設定がよくわかります広角カメラと超広角カメラについてお話しますこれらのカメラはワールドトラッキングモーションキャプチャ人物セグメンテーションなど様々なコンピュータビジョンのタスクに使用できます広角カメラはレンダリングの背景の画像を配信するものなので特別なものとなりますレンダリングのために画像がどう処理されるかを理解することが重要ですセンサーレベルにズームインしてみましょう

ARKit用の画像を取り込む際イメージセンサの大半を使いますもっと正確に言うと今回のモデルでは 3840×2880画素の領域です取得後ビンニングと呼ばれる処理を行います動作は以下の通りですビンニングは 2×2画素の領域を取り画素値を平均化し１画素を書き戻すものですこれには２つの大きなメリットがありますまず画像の寸法を２分の１に縮小しこの場合 1920×1440画素に縮小します結果各フレームで消費するメモリや処理能力が削減されますこれによりデバイスはカメラを最大60フレーム/秒で動作できレンダリングのためのリソースを解放できますまた画素値を平均化することでセンサーノイズの影響を軽減できるため低照度環境での使用に有利になります最終的に約17ミリ秒ごとに HD解像度の画像を提供するカメラストリームが完成します現在のフレームを様々なコンピュータビジョンタスクに使用した後 ARKitはレンダリングのための現在のフレームを表出します独自のMetalレンダラを作成している場合 ARSessionの currentFrame.capturedImage を介してアクセスできます

RealityKitを使用する場合画像は背景に使うために自動的にさらに処理されます画面幅2532画素に合わせてオンデバイスで拡大縮小されディスプレイの縦横比に合わせて切り取られます RealityKitはこの海賊船のようなバーチャルコンテンツをフレームの上にレンダリングして合成するタスクを実行し最終的な結果を画面に表示します今回最新のハードウェアのパワーを利用して ARKitでフル4Kビデオモードを可能にしました Appはビンニングの手順を飛ばしてフル4K解像度で直接アクセスしてより高解像度の画像を利用できます 4Kモードでは3840×2160画素の画像領域を使用し 30フレーム/秒のビデオを撮影できますこれらの変更点を除けば以前と同様に動作します RealityKitを使えば拡大縮小切り取りレンダリングが行われます

簡単な手順で新しい 4Kモードを有効にできますコードでどう見えるか見てみましょう

'ARConfiguration' に新しいコンビニエンス関数である recommendedVideoFormatFor 4KResolution が追加されそのモードにデバイスが対応する時 4Kビデオフォーマットが返されますデバイスや設定が対応しない場合はこの関数はnilを返しますそしてこのビデオフォーマットを構成に割り当てその構成でセッションを実行します

4Kビデオモードは iPhone 11以降と M1チップを搭載したiPad Proで利用できます解像度は3840x2160画素 30フレーム/秒です縦横比は16:9です iPadでは全画面表示のため画像を切り取る必要があり最終画像は拡大表示されたように見えるかもしれません

ARKit 特に新しい4K解像度で使用する時最良の結果を得るには幾つかのベストプラクティスに従うことが重要です ARFrameは長時間保持しないでくださいこれはシステムのよるメモリの解放を妨げさらにARKitによる新しいフレームの表出を止めることになるかもしれませんこれはレンダリングのフレーム落ちとして確認できます最終的にARカメラのトラッキングステートが "limited"にフォールバックするかもしれませんコンソールのワーニングを確認し常に多くの画像を保持しすぎないように注意してください新しい4Kビデオフォーマットが実際に適した選択かも検討してください動画映画製作バーチャルプロダクションなど高解像度ビデオの恩恵を受けるAppが良い候補になります高解像度の画像を扱うとメモリ領域を追加で消費します高いリフレッシュレートに依存するゲームや他のAppでは 60フレーム/秒のフルHDビデオの使用をお勧めします

新しい4Kモードに加えカメラをより自在に操ることができる機能拡張がいくつかありますまず高解像度バックグラウンドフォトAPIの紹介と新しいHDRモードを有効にする方法を紹介しますさらにより細かい制御を行うために基盤となる AVCaptureDeviceにアクセスする方法を示し ARKitでEXIFタグを読み取る方法を紹介しますでは高解像度バックグラウンドフォトAPIを確認してみましょう

ARSessionの実行中も通常通りビデオストリームにアクセスできますさらにARKitではビデオストリームが中断されることなく実行されている間にバックグラウンドでオンデマンドに単一の写真の取り込みをリクエストできますこの単一の写真フレームはカメラのセンサをフル活用したもので iPhone 13では広角カメラの 1200万画素をフルに使えます WWDCの準備中 ARKitチームで新しいAPIで何が作れるかを表現する写真Appの楽しいアイデアを思いつきました今回の例では有名な海賊旗が Apple Infinite Loop Campus の上に掲げられていた 2016年4月1日に遡ってみましょう撮影者のTommyに６年前の写真をどこで撮ったのか聞いてみました

座標をもとに 2016年4月に Tommyが立っていた場所と全く同じ大きな青い点で示された場所に案内するロケーションアンカーが作成できましたその場所に到達するとフォーカスのための四角形を表示し完璧な写真に仕上げられます最後に画面をタップして写真を撮ることができますその写真は現在の ARKitセッションの実行中に別のAVCaptureセッションをスピンアップすることなく固有のカメラ解像度で撮影できます ARと写真の能力を結合したどのようなアイデアがあるのか楽しみですねまた APIが大きな効果を発揮する使用事例として Object Captureを用いた 3Dモデルの作成があります Object Captureはこのスニーカーのような現実の物体の写真を取り込み最新のフォトグラメトリアルゴリズムを使って AR Appに配置できる 3Dモデルに変換します ARKitの使用で物理的対象の上に3D UIを重ね合わせることができより良いキャプチャガイダンスを提供しますまた新たに高解像度バックグラウンドフォトAPIが追加され対象物をより高解像度で撮影しよりリアルな 3Dモデルを作成できるようになりました私はフォトグラメトリの大ファンなので今年の "自分の世界を拡張現実に" のセッションはぜひ見ていただきたいですねコードで高解像度の画像を取り込む方法を紹介しますまずhiResCaptureに対応したビデオフォーマットかを確認しますそのためにコンビニエンス関数 recommendedVideoFormat ForHighResolutionFrameCapturing を使用できますフォーマットが対応していることを確認したら新しいビデオフォーマットを設定しセッションを実行できますさらに高解像度の画像を取り込む時の指示が必要です先ほどの例では画面をタップすると撮影が始まります独自のAppでは高解像度のフレーム取り込みのトリガとなる様々なイベントに対処させたい場合がありますそれは本当にみなさんの使用事例によります captureHighResolutionFrame という新しい関数ありますこの関数を呼び出すと高解像度の画像のアウトオブバンドでの取り込みが開始されます高解像度の画像と他のすべてのフレーム属性を含む ARFrameへのアクセスを得ることができますフレーム取り込みが成功したか確認してからその内容にアクセスしますこの例ではフレームをディスクに保存しています特にこれらの画像はイメージセンサの解像度をフルに使っているため先ほど述べた画像の保持のベストプラクティスも覚えておいてください次は HDRについてですハイダイナミックレンジはより広範囲の色を取り込みディスプレイに展開しますこれはコントラストが高い環境で最も顕著に現れます私の裏庭の良い例ですこのシーンでは木のフェンスなど非常に暗い部分と空の雲など非常に明るい部分の両方があります右のように HDRモードをオンにすると雲のふわふわ感などこのあたりの詳細が HDRでよりよく保存されています HDRをオンにする方法をコードで見てみましょう HDRの対応をしているかどうかはビデオフォーマットの isVideoHDRSupported プロパティで確認できます現在 HDRに対応しているのはビンニングのないフォーマットのみです HDRに対応している場合は設定のvideoHDRAllowedを trueにしその設定でセッションを実行します HDRをオンにすると動作に影響が出るので必要な時のみ使用しましょう露出やホワイトバランスなどの設定を手動で行いたい場合 AVCaptureDeviceに直接アクセスし設定を変更することができるようになりましたこのコード例では設定の configurableCaptureDeviceFor PrimaryCameraを呼び出して基盤となるAVCaptureDeviceにアクセスできるようにしますこの機能を利用し Appのカスタムルックを作成します画像はレンダリングの背景の使用だけでなく ARKitがシーンの分析のために積極的に利用することを念頭に置いてくださいなので強い露出過度の様な変更は ARKitの出力品質に弊害がある可能性がありますフォーカスイベントのトリガなど高度な操作も可能です AVCaptureSessionsの設定方法は developer.apple.comのAVCaptureのドキュメントを参照ください最後に ARKitはEXIFタグを Appに対し公開しますすべてのARFrameで使用可能です EXIFタグにはホワイトバランスや露出などポストプロセスに役立つ設定情報が含まれています画像取り込みパイプラインのアップデートはここまでですでは平面アンカーの変更について見てみましょう

平面アンカーは ARKitの初版から人気のある機能です多くの方に平面アンカーとその下の平面ジオメトリをきれいに分離する必要があるとのご意見をいただきましたそのため平面アンカーの挙動や平面ジオメトリに関するアップデートをお伝えしますこれはiOS 15の典型的な平面アンカーの例です ARセッションの冒頭でテーブルの上にあるこの質感の良いノートに水準を適合させるのですセッションを実行するとテーブルの新しい部分の構成が見えてくるため水準は徐々に更新されます平面ジオメトリが更新されるたびにアンカーの回転も更新され平面の新しい方向が反映されます iOS 16では平面アンカーとその平面ジオメトリをより明確に分離するようになりました

平面アンカーとジオメトリの更新が完全に切り離されましたテーブルの全てが見えるようになると平面は拡張してジオメトリを更新していきますがアンカーの回転自体は一定に保たれます

左側の旧来の動作と比較すると iOS 16の平面アンカーは ARセッション全体を通してノートに沿った同じ向きのままであることがわかります

平面ジオメトリに関するすべての情報は ARPlaneExtentというクラスに含まれるようになりました更新は平面アンカー自体の回転を通して表現されません代わりに ARPlaneExtentには回転角度を表す新しいプロパティ rotationOnYAxis が含まれています新しいプロパティに加えて平面は幅と高さ更には PlaneAnchorの中心座標で十分に定義されていますこの平面のビジュアライズをコードで作成する方法を紹介します

まず指定された幅と高さに従って平面メッシュをベースに実体を生成します次に y軸の回転に従ってエンティティの変換を設定しさらに中心プロパティの値でオフセットしています平面の更新ごとに幅高さ中心座標と新しいrotation OnYAxisが変わる恐れがある事を考慮すべきです新しい動作を利用するには Xcodeの設定でdeployment targetを iOS 16に設定してください次のアップデートはモーションキャプチャです機械学習の立案者たちはさらなる改良に励みました 2Dスケルトンと 3Dジョイントの両方について一連のアップデートがあります 2Dスケルトンでは左耳と右耳という２つの新しいジョイントをトラッキングしますまた全体の姿勢検出も改善しました iPhone 12以降および M1チップを搭載した最新モデルのiPad Proや iPad Airでは赤色で示す様な3Dスケルトンが改善されました微小変動を減らし全体的に時間に対する一貫性が高くなります人物の一部が隠れている時やカメラの近くを歩く時にもより安定したトラッキングが可能です改善されたモーションキャプチャを利用するにはXcodeの設定で deployment targetをiOS 16に設定してください次にロケーションアンカーに対応する新しい都市や国についてもお知らせします AppleマップはロケーションアンカーAPIを利用して歩行時のインストラクションを表示していることをご存知ですかこの例ではロケーションアンカーの力を借りてロンドンの街を案内していることがわかりますロケーションアンカーはすでに米国の都市や英国ロンドンで利用可能なところが増えています本日よりカナダのバンクーバートロントモントリオールの３都市で利用可能ですシンガポールでも利用可能で日本では東京を含む７つの都市圏で利用可能ですオーストラリアのメルボルンシドニーでも同様です年内にニュージーランドのオークランドイスラエルのテルアビブフランスのパリでも利用可能にする予定です特定の座標でロケーションアンカーが対応しているかを知りたい場合は ARGeoTrackingConfigurationの checkAvailabilityメソッドを使用すればOKです以上がARKit 6におけるすべてのアップデートです要約すると新4Kビデオフォーマットで ARKitを実行する方法の紹介上級者向けには HDRを有効にする方法や AVCaptureDeviceを手動で制御する方法を紹介しましたさらに画素数を必要とする Appのために ARKitのセッションから高解像度の写真の取得方法を実演しました平面アンカーの新しい動作について話をしモーションキャプチャの新しい耳のジョイントやその他の改良点について発表しましたロケーションアンカーが年内にどの国で利用可能になるかもお知らせしました

ご視聴ありがとうございました WWDC 2022をお楽しみください

5:00 - HighRes Capturing

if let hiResCaptureVideoFormat = ARWorldTrackingConfiguration.recommendedVideoFormatForHighResolutionFrameCapturing {
    // Assign the video format that supports hi-res capturing.
config.videoFormat = hiResCaptureVideoFormat
}
// Run the session.
session.run(config)

10:55 - highRes background photos

session.captureHighResolutionFrame { (frame, error) in
   if let frame = frame {
      saveHiResImage(frame.capturedImage)
   }
}

12:00 - HDR support

if (config.videoFormat.isVideoHDRSupported) {
    config.videoHDRAllowed = true
}
session.run(config)

12:35 - AVCapture Session

if let device = ARWorldTrackingConfiguration.configurableCaptureDeviceForPrimaryCamera {
   do {
      try device.lockForConfiguration()
      // configure AVCaptureDevice settings
      …
      device.unlockForConfiguration()
   } catch {
      // error handling
      …
   }
}

16:00 - plane anchors

// Create a model entity sized to the plane's extent.
let planeEntity = ModelEntity(
    mesh: .generatePlane (
        width: planeExtent.width, 
        depth: planeExtent.height),
    materials: [material])

// Orient the entity.
planeEntity.transform = Transform(
    pitch: 0, 
    yaw: planeExtent.rotationOnYAxis, 
    roll: 0)

// Center the entity on the plane.
planeEntity.transform.translation = planeAnchor.center

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。