空間コンピューティング向けのARKitについて

空間コンピューティング向けのARKitについて

ARKitのトラッキングとシーン認識機能を活用して、まったく新しいイマーシブなアプリやゲームの世界を創り出す方法について解説します。visionOSとARKitの連携により、プライバシーを守りながらユーザーの周囲を認識するアプリを作成するのにどのように役立つかについてご確認ください。ARKit APIの最新情報を入手し、アプリのハンドトラッキングとシーンジオメトリを活用する方法についてのデモンストレーションを行います。

リソース
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
ダウンロード

♪ ♪ ♪ こんにちは Ryanです私はConnerです Ryan: このセッションでは空間コンピューティング向けの ARKitについてご紹介しますこれが新しいプラットフォームでいかに重要な役割を果たすかそしてこれを活用して次世代のアプリを構築する方法を紹介します ARKitは洗練されたコンピュータービジョンアルゴリズムを使いユーザーの周りの世界や動きについての理解を生み出しますこの技術はデベロッパが手元で体験できるすばらしい拡張現実体験を作成するための方法として iOS 11で公開されましたこのプラットフォームでは ARKitは新しいリアルタイムな基盤で一から再構築され完全なサービスシステムとなりました ARKitはオペレーティングシステムのファブリックに深く織り込まれておりウインドウの操作からイマーシブなゲームプレイまですべてのものを強化しますこの強化の一部として APIも完全な見直しを行いました新しいデザインは私たちがiOSで学んだすべてのことに加え空間コンピューティング独特のニーズを考慮して生まれたものですみなさんもきっと気に入るはずです ARKitはテーブルにバーチャルコンテンツを配置するなどすばらしいことを行うための強力なさまざまな機能を提供しますコンテンツが実際にそこにあるように手を伸ばして触ることができそのコンテンツが実際の世界でインタラクションするのを見ることができます実に魔法のような体験ですこの新しいプラットフォームで ARKitを使用して達成できることを少しお見せしたところで本日の内容をお伝えします最初にAPIを構成する基礎的な概念と基本要素の概要を説明し次に実世界に関連するバーチャルコンテンツを配置するのに不可欠なワールドトラッキングを紹介しますその後環境に関する便利な情報を提供するシーン認識機能を説明してからバーチャルコンテンツを手に配置したりその他のオーダーメイドの操作を構築したりするために活用できるエキサイティングな最新機能ハンドトラッキングを紹介します最後は最初に戻って先程お見せした動画からのコードを調査してこれらの機能の実用的な適用方法を説明しますでは始めましょう新しいAPIはモダンなSwiftとクラシックなCの 2つの爽快なフレーバーで最新の注意を払って作成されましたすべてのARKit機能は個別に提供されるようになりましたデベロッパが体験を構築するのに必要なものだけを選択できるように可能な限りの柔軟性を提供します ARKitデータへのアクセスはプライバシーファーストな方法でデザインされていますユーザーのプライバシーを保護手段を適用しながらシンプルさをデベロッパに提供します APIは3つの基本要素から構成されますこれらはセッションデータプロバイダアンカーですアンカーから始めてセッションに戻りますアンカーは実世界の位置と方向を表しますすべてのアンカーには一意な識別子とトランスフォームが含まれます一部のアンカーはトラッキングすることもできますトラッキング可能なアンカーがトラッキングされていない場合アンカーされているバーチャルコンテンツは非表示にしてくださいデータプロバイダは個々のARKit機能を表しますデータプロバイダはアンカーの変更などデータの更新のポーリングや観察を可能にします異なるタイプのデータプロバイダが異なるタイプのデータを提供しますセッションは特定の体験を作成するために一緒に使用したい ARKit機能の組み合わせを表しますセッションはデータプロバイダのセットを提供することで実行しますセッションの実行中データプロバイダはデータを受信し始めます更新はデータタイプによって非同期かつ異なる頻度で到着しますではプライバシーとアプリがARKitデータにアクセスする方法を説明しますプライバシーは基本的人権です Appleのコアバリューでもあります ARKitのアーキテクチャとAPIはユーザーのプライバシーの保護を考慮してデザインされています ARKitがユーザーの周辺の世界の理解を生み出すためにデバイスにはさまざまなカメラや異なるタイプのセンサーが備わっていますカメラフレームなどのこれらのセンサーからのデータはクライアントスペースには送信されませんその代わりにセンサーデータはアルゴリズムによって安全に処理されるように ARKitのデーモンに送信されます結果としてこれらのアルゴリズムにより生成されるデータはデータを要求するみなさんのアプリなどのクライアントに転送される前に慎重に収集されます ARKitデータにアクセスするための前提条件がありますアプリはフルスペースに入る必要があります ARKitは共有スペースにいるアプリにデータを送信しません次に一部のARKitデータのタイプにはアクセス権限が必要です権限を付与されていない人には私どもはそのタイプのデータをアプリ側に送信しませんこれを促進するために ARKitは権限を処理するために便利な認証APIを提供しますセッションを使用することでアクセスしたいデータのタイプのアクセス権を要求できますこれを行わない場合必要に応じて ARKitによりセッションを実行する場合に自動的に権限をリクエストするプロンプトが表示されますここではハンドトラッキングデータへのアクセスを要求しています単一のリクエストで必要なすべての認証タイプを一括にまとめることができます認証結果を得たら同じ操作を繰り返して各認証タイプのステータスを確認します権限が付与されている場合ステータスは「allowed」になりますアクセスが拒否されたデータを提供してデータプロバイダでセッションを実行しようとするとセッションの失敗につながりますではこのプラットフォームで ARKitがサポートするそれぞれの機能の詳細を見てみましょうまずはワールドトラッキングですワールドトラッキングを使うとバーチャルコンテンツを実世界でアンカーできます ARKitは6DoFでデバイスの動きをトラッキングしアンカーが環境に関連づけられた同じ場所から動かないように各アンカーを更新しますワールドトラッキングが使用する DataProviderは WorldTrackingProviderと呼ばれいくつかの重要な機能を提供します WorldAnchorを追加できるようになり ARKitはデバイスが移動した場合ユーザーの環境に関連付けられた場所に固定されます WorldAnchorはバーチャルコンテンツの配置に不可欠なツールです追加したWorldAnchorはアプリの起動と再起動で自動的に永続化されますこの動作が構築する体験に望ましくない場合は使い終わったときにアンカーを削除すれば永続化されなくなります一部の場合では永続化を利用できないことにご留意くださいまた WorldTrackingProviderを使用してアプリの原点に基づいたデバイスのポーズを取得できますこれはMetalを使用して独自のレンダリングを行う場合に必要ですでは詳細にWorldAnchorが何かを調べこれを使用すべき理由を説明します WorldAnchorはトランスフォームを受け取るイニシャライザを持つTrackableAnchorでトランスフォームとはアンカーを配置したいアプリの原点に関連付けられた位置や方向のことを指しますアンカーされていないバーチャルコンテンツとアンカーされているバーチャルコンテンツの違いを視覚化するための例を見てみましょうここに2つの立方体があります左の青い立方体はWorldAnchorによって更新されていません右の赤い立方体は WorldAnchorで更新されていますどちらの立方体もアプリが起動したときにアプリの原点に応じて配置されていますデバイスが動いてもどちらも配置された場所から動きませんクラウンを押し続けるとアプリをもう一度中心に置くことができます再び中央に置かれるときアプリの原点は現在の位置に移動しますアンカーされていない青い立方体はアプリの原点に関連する場所を維持するため再配置されていますアンカーされている赤い立方体は実世界に関連した場所に固定されたままです WorldAnchorの永続化の機能を説明しましょうデバイスが動くと ARKitは環境をマッピングします WorldAnchorを追加する際にこれをマップに挿入すると自動的に永続化されます WorldAnchorの識別子とトランスフォームのみが永続化されますバーチャルコンテンツなどのその他のデータは含まれません WorldAnchor識別子を関連付けるバーチャルコンテンツに維持するのはみなさん次第ですマップは場所ベースであるため例えば自宅からオフィスへとデバイスを新しい場所に運ぶと自宅のマップはアンロードされ異なるマップがオフィス用にローカライズされますこの新しい場所に追加したアンカーはそのマップに取り込まれます 1日の終わりにオフィスを去り自宅に向かった場合 ARKitがオフィスで構築したマップとそこに配置したアンカーはアンロードされます繰り返しになりますがマップとアンカーは自動的に永続化されています自宅に着くと ARKitは場所が変わったことに気づきこの場所の既存のマップを確認して再ローカライズの処理を始めます見つかった場合はそのマップと自宅に以前に追加したすべてのアンカーは再びトラッキングされるようになりますではデバイスのポーズに移りましょう WorldAnchorの追加と削除に加えて WorldTrackingProviderを使用してデバイスのポーズを取得できますポーズはアプリの原点に応じたデバイスの位置と方向ですフルイマーシブ型の体験向けに MetalとCompositorServicesで独自のレンダリングをする場合ポーズのクエリを行う必要がありますこのクエリは比較的高価なものとなりますコンテンツ配置などのその他のタイプのアプリのロジック用にデバイスのクエリを実行する際は慎重に行いましょう簡素化されたレンダリングの例でデバイスポーズをARKitから CompositorServicesに提供する方法をお見せしますセッションワールドトラッキングプロバイダ最新のポーズを保有する Renderer構造体があります Rendererを初期化するにはまずセッションを作成します次に各フレームをレンダリングする際のデバイスポーズのクエリに使用するワールドトラッキングプロバイダを作成します必要なデータプロバイダでセッションを実行しますこの例ではワールドトラッキングプロバイダのみを使用しますまたレンダー関数の割当を開始するためにポーズを作成しますフレームレートで呼び出すレンダー関数に移ります CompositorServicesからの drawableを使用してターゲットレンダータイムを取得します次にそのターゲットレンダータイムを使いデバイスのポーズを照会します成功するとアプリの原点に関連するポーズのトランスフォームを抽出できますこのトランスフォームをコンテンツのレンダリングに使用します最後に合成のフレームを送信する前に drawableでポーズを設定しフレームのコンテンツをレンダリングするのにどのポーズを使用したかをコンポジタに伝達します独自のレンダリングの詳細については Metalを使用したイマーシブアプリの作成に焦点を当てたセッションをご確認くださいさらに空間コンピューティングのパフォーマンスについての考慮事項を説明するセッションもおすすめします次はシーン認識を見てみましょうシーン認識は機能の一部で異なる方法で環境についての情報を提供してくれますまず「平面検出」を見てみましょう平面検出はARKitが実世界で検出する水平面と垂直面上のアンカーを提供します平面検出が使用する DataProviderのタイプは PlaneDetectionProviderと呼ばれます環境で平面が検出されると PlaneAnchorの形で提供されます PlaneAnchorはテーブルにバーチャルオブジェクトを配置するなどコンテンツの配置を促進するために使用されますまた床や壁など基本的で十分に平面な配置の物理シミュレーションにも使用できます各PlaneAnchorには水平と垂直方向の調整や平面のジオメトリ分類結果が含まれています平面は床やテーブルなど異なるタイプの表面の種類として分類されます特定の表面を識別できない場合は提供された分類は状況に応じて「未知」「不確定」「利用不可」として示されますではシーンジオメトリに移りましょうシーンジオメトリは実世界の形状を推定するポリゴンメッシュを含有するアンカーを提供しますシーンジオメトリが使用する DataProviderタイプは SceneReconstructionProviderと呼ばれます ARKitが周りの世界をスキャンするともに環境は細分化されたメッシュとして再構築されます MeshAnchorの形で提供されます PlaneAnchorのようにコンテンツ配置の促進に MeshAnchorを使用できますまたバーチャルコンテンツを表面が平面でない物体とインタラクションさせる必要がある場合に忠実度のより高い物理シミュレーションを実現することもできます各MeshAnchorにはメッシュのジオメトリが含まれますこのジオメトリには頂点法線面と面ごとの分類結果が含まれていますメッシュ面は異なるタイプの物体の種類として分類できます特定の物体を識別できない場合提供される分類は「なし」になります最後に画像トラッキングを見てみましょう画像トラッキングは実世界の2D画像を検出するのに使用できます画像トラッキングが使用する DataProviderのタイプは ImageTrackingProviderと呼ばれます ImageTrackingProviderは検出したい一連のReferenceImageで構成できますこれらのReferenceImageは異なる方法で作成できますプロジェクトのアセットカタログの ARリソースグループからロードするオプションがありまた CVPixelBuffer またはCGImageを提供して自身でReferenceImageを初期化することもできます画像が検出されると ARKitはImageAnchorを提供します ImageAnchorsはコンテンツを既知で静的に配置された画像に配置するのに使用しますたとえば映画のポスターの横に映画についての説明を配置できます ImageAnchorsはTrackableAnchorで推定のスケール要因が含まれ検出された画像のサイズが指定した物理的サイズやアンカーが対応するReferenceImageと比較される方法を示します次は新機能ハンドトラッキングについてです Connerがこの機能の例をご紹介します Conner: どうもハンドトラッキングを見てみましょう ARKitに追加された最新機能ですハンドトラッキングはそれぞれの手の骨格データを含むアンカーを提供しますハンドトラッキングが使用する DataProviderのタイプは HandTrackingProviderと呼ばれます手が検出されるとHandAnchorの形でこれが提供されます HandAnchorはTrackableAnchorです HandAnchorには骨格とキラリティーが含まれていますキラリティーは左手であるか右手であるかを伝えます HandAnchorのトランスフォームはアプリの原点に関連する手首のトランスフォームです骨格は関節から構成され名前で照会できます関節には親関節その名前親関節に関連するlocalTransform ルート関節に関連する rootTransformが含まれ各関節にはブール型が含まれておりこの関節がトラッキングされているかどうかを示しますここでは手の骨格で利用可能なすべての関節を列挙しています関節階層のサブセットを見てみましょう手首は手のルート関節です各指の最初の関節は手首に属していますたとえば 1は0に属しています後続の指の関節はその前の関節に属していますたとえば 2は1に属しており他も同じです HandAnchorは手に関連するコンテンツの配置やカスタムジェスチャの検出に使用します HandAnchorを受信するためのオプションは2つあります更新のポーリングを行うか利用可能なときに非同期でアンカーを受信します Swiftの非同期の更新の例は後でお見せしますが今はハンドアンカーのポーリングを先程のレンダラに追加しましょうこれは更新された構造体の定義ですハンドトラッキングプロバイダと左と右のハンドアンカーを追加しました更新されたinit関数で新しいハンドトラッキングプロバイダを作成し実行するプロバイダのリストに追加してからポーリングする際に必要となる左右のハンドアンカーを作成しますレンダーループの割当を回避するためにこれを先に作成してください構造体が更新され初期化されたらレンダー関数で get_latest_anchorsを呼び出しますプロバイダと事前割当されたハンドアンカーをパスします利用可能な最新のデータでアンカーが生成されます最新のアンカーが生成されると体験でデータを使用できるようになりますすばらしいですねでは先程お見せした例に戻りましょう ARKitとRealityKitの機能の組み合わせを使いこの体験を構築しましたシーンジオメトリは物理的なコライダとジェスチャとして使用されハンドトラッキングは立方体エンティティを直接操作するのに使用されますこの例が構築された方法を見てみましょうまずアプリの構造体とビューモデルを確認します次に ARKitセッションを初期化しますそして指先用のコライダとシーン再構築からのコライダを追加します最後にジェスチャで立方体を追加する方法を見てみましょうさっそく始めましょうこちらがTimeForCubeアプリです比較的標準的なSwiftUIアプリとシーンが設定されていますシーン内で ImmersiveSpaceを宣言します IimmersiveSpaceは ARKitデータにアクセスするためにフルスペースに移動するために必要です ImmersiveSpace内で RealityViewを定義するとビューモデルからコンテンツが提示されますアプリのほとんどのロジックはビューモデルに存在していますそれを見てみましょうビューモデルは ARKitにくっついています使用するデータプロバイダは作成するその他すべてのエンティティを含むコンテンツエンティティシーンとハンドコライダマップですまたビューモデルはアプリから呼び出すさまざまな機能を提供しますこれらをアプリのコンテキストから説明しましょう最初に呼び出す関数は contentEntityを設定するための RealityView内のmakeクロージャですビューモデルがビューのコンテンツにエンティティを追加できるようにこのエンティティをRealityViewのコンテンツに追加します setupContentEntityはすべての指エンティティを contentEntityの子としてマップに追加し返しますいいですねセッションの初期化に移りましょうセッションの初期化は 3つのタスクの1つを実行します最初のタスクは runSession関数を呼び出しますこの関数は2つのプロバイダでセッションを実行しますセッションの実行中アンカーの更新情報を受信することができます立方体の操作にに使用する指先コライダを作成し更新しましょうこちらは手の更新を処理するタスクですこの関数はプロバイダのアンカー更新の非同期シーケンスを反復しますハンドアンカーがトラッキングされ人差し指の指先の関節を取得し関節自体がトラッキングされることを確認します次にアプリの原点に関連する人差し指の指先のトランスフォームを計算します最後にどの指エンティティを更新しトランスフォームを設定すべきかを検索します
指エンティティのマップをもう一度見てみましょう ModelEntityの拡張子を介して各手のエンティティを作成しますこの拡張子は衝突シェイプの 5ミリメートルの球体を作成しますキネマティック物理ボディコンポーネントを追加して不透明コンポーネントを追加してこのエンティティを非表示にしますこのユースケースでは非表示にしますがすべてが期待どおりに機能していることを確認するために指先エンティティを表示することが好ましいでしょう一時的に不透明度を1に設定しエンティティが適切な場所に配置されているか確認しましょうすばらしい指先に球体が配置されています手が球体の位置を覆っていますこれはハンドオクルージョンというシステム機能でバーチャルコンテンツ上で手を確認できるようにするためのものですこれはデフォルトで有効になっていますが球体をより明確に表示したい場合はシーンの upperLimbVisibilityセッターでハンドオクルージョンの可視性を構成できます手の可視性を非表示に設定すると手がどこにあっても全体の球体を確認できますこの例では上肢の可視性をデフォルトの値のままにし不透明度をゼロに戻しますすばらしいではシーンコライダを追加しましょうこれはフィジックスとジェスチャターゲットに使用しますこちらはモデルの関数を呼び出すタスクですプロバイダのアンカー更新の非同期シーケンスで反復して MeshAnchorから ShapeResourceを生成することを試みてからアンカー更新のイベントに切り替えますアンカーを追加する場合は新しいエンティティを作成してそのトランスフォームを設定しコリジョンと物理ボディコンポーネントを追加しこのコライダがジェスチャのターゲットとなるように入力ターゲットコンポーネントを追加します最後に新しいエンティティをコンテンツエンティティの子として追加しますエンティティを更新するにはそれをマップから取得してトランスフォームとコリジョンコンポーネント形状を更新します削除するには親とマップに対応するエンティティを削除します手とシーンコライダができたので立方体にジェスチャを追加しますエンティティにターゲットされた SpatialTapGestureを追加しますこれは誰かがRealityViewのコンテンツのエンティティをタップした場合に通知を送信しますタップが完了したらグローバルからシーン座標に変換する3D位置を受信しますこの位置を視覚化しましょうタップの場所に球体を追加するとこうなりますビューモデルにこの場所に関連する場所に立方体を追加するよう伝えます立方体を追加するにはまずタップされる場所の 20センチ上にある配置場所を計算します次に立方体を作成し計算された配置場所に設定しますエンティティが反応するジェスチャの種類を設定するための InputTargetComponentを追加しますこのユースケースでは指先コライダが直接的な操作を提供するため立方体に対し間接的な入力タイプのみを許可します物理的な操作が向上するようにカスタムパラメータで PhysicsBodyComponentを追加します最後に立方体をコンテンツエンティティに追加しますこれで立方体の準備ができましたこの例をエンドツーエンドでもう一度見てみましょうシーンコライダか立方体をタップするたびに新しい立方体がタップ場所の上に追加されます物理システムにより立方体はシーンコライダに落下しますハンドコライダで立方体を操作できます RealityKitについての詳細は入門的な空間コンピューティングでの RealityKitの使用に関するセッションをご覧くださいこのプラットフォームに取り入れたいと思う既存のARKit体験をすでにお持ちの場合はこのトピックについての専門的なセッションを参照してくださいみなさんが新しいARKitを使用することをチーム全員が楽しみにしていますこのすばらしい新しいプラットフォームでみなさんが構築する画期的なアプリを見るのが楽しみです Ryan: ご視聴ありがとうございます ♪

// Privacy
// Authorization

session = ARKitSession()

Task {
    let authorizationResult = await session.requestAuthorization(for: [.handTracking])

    for (authorizationType, authorizationStatus) in authorizationResult {
        print("Authorization status for \(authorizationType): \(authorizationStatus)")

        switch authorizationStatus {
        case .allowed:
            // All good!
            break
        case .denied:
            // Need to handle this.
            break
        ...
        }
    }
}

10:20 - World Tracking Device Pose Render Struct

// World tracking
// Device pose

#include <ARKit/ARKit.h>
#include <CompositorServices/CompositorServices.h>

struct Renderer {
    ar_session_t                 session;
    ar_world_tracking_provider_t world_tracking;
    ar_pose_t                    pose;

    ...
};

void renderer_init(struct Renderer *renderer) {
    renderer->session = ar_session_create();

    ar_world_tracking_configuration_t config = ar_world_tracking_configuration_create();
    renderer->world_tracking = ar_world_tracking_provider_create(config);

    ar_data_providers_t providers = ar_data_providers_create();
    ar_data_providers_add_data_provider(providers, renderer->world_tracking);
    ar_session_run(renderer->session, providers);

    renderer->pose = ar_pose_create();

    ...
}

10:21 - World Tracking Device Pose Render function

// World tracking
// Device pose

void render(struct Renderer *renderer,
            cp_layer_t       layer,
            cp_frame_t       frame_encoder,
            cp_drawable_t    drawable) {
    const cp_frame_timing_t timing_info = cp_drawable_get_frame_timing(drawable);
    const cp_time_t presentation_time = cp_frame_timing_get_presentation_time(timing_info);
    const CFTimeInterval target_render_time = cp_time_to_cf_time_interval(presentation_time);

    simd_float4x4 pose = matrix_identity_float4x4;

    const ar_pose_status_t status =
        ar_world_tracking_provider_query_pose_at_timestamp(renderer->world_tracking,
                                                           target_render_time,
                                                           renderer->pose);

    if (status == ar_pose_status_success) {
        pose = ar_pose_get_origin_from_device_transform(renderer->pose);
    }

    ...

    cp_drawable_set_ar_pose(drawable, renderer->pose);

    ...
}

16:00 - Hand tracking joints

/ Hand tracking

@available(xrOS 1.0, *)
public struct Skeleton : @unchecked Sendable, CustomStringConvertible {

    public func joint(named: SkeletonDefinition.JointName) -> Skeleton.Joint 

    public struct Joint : CustomStringConvertible, @unchecked Sendable {

        public var parentJoint: Skeleton.Joint? { get }

        public var name: String { get }

        public var localTransform: simd_float4x4 { get }

        public var rootTransform: simd_float4x4 { get }

        public var isTracked: Bool { get }
    }
}

17:00 - Hand tracking with Render struct

// Hand tracking
// Polling for hands

struct Renderer {
    ar_hand_tracking_provider_t  hand_tracking;
    struct {
        ar_hand_anchor_t left;
        ar_hand_anchor_t right;
    } hands;

    ...
};

void renderer_init(struct Renderer *renderer) {
    ...

    ar_hand_tracking_configuration_t hand_config = ar_hand_tracking_configuration_create();
    renderer->hand_tracking = ar_hand_tracking_provider_create(hand_config);

    ar_data_providers_t providers = ar_data_providers_create();
    ar_data_providers_add_data_provider(providers, renderer->world_tracking);
    ar_data_providers_add_data_provider(providers, renderer->hand_tracking);
    ar_session_run(renderer->session, providers);

    renderer->hands.left = ar_hand_anchor_create();
    renderer->hands.right = ar_hand_anchor_create();

    ...
}

17:25 - hand tracking call in render function

// Hand tracking
// Polling for hands

void render(struct Renderer *renderer,
            ... ) {
    ...

    ar_hand_tracking_provider_get_latest_anchors(renderer->hand_tracking,
                                                 renderer->hands.left,
                                                 renderer->hands.right);

    if (ar_trackable_anchor_is_tracked(renderer->hands.left)) {
        const simd_float4x4 origin_from_wrist 
            = ar_anchor_get_origin_from_anchor_transform(renderer->hands.left);

        ...
    }

    ...
}

18:00 - Demo app TimeForCube

// App

@main
struct TimeForCube: App {
   @StateObject var model = TimeForCubeViewModel()

    var body: some SwiftUI.Scene {
        ImmersiveSpace {
            RealityView { content in
                content.add(model.setupContentEntity())
            }
            .task {
                await model.runSession()
            }
            .task {
                await model.processHandUpdates()
            }
            .task {
                await model.processReconstructionUpdates()
            }
            .gesture(SpatialTapGesture().targetedToAnyEntity().onEnded({ value in
                let location3D = value.convert(value.location3D, from: .global, to: .scene)
                model.addCube(tapLocation: location3D)
            }))
        }
    }
}

18:50 - Demo app View Model

// View model

@MainActor class TimeForCubeViewModel: ObservableObject {
    private let session = ARKitSession()
    private let handTracking = HandTrackingProvider()
    private let sceneReconstruction = SceneReconstructionProvider()

    private var contentEntity = Entity()

    private var meshEntities = [UUID: ModelEntity]()

    private let fingerEntities: [HandAnchor.Chirality: ModelEntity] = [
        .left: .createFingertip(),
        .right: .createFingertip()
    ]

    func setupContentEntity() { ... }

    func runSession() async { ... }

    func processHandUpdates() async { ... }

    func processReconstructionUpdates() async { ... }

    func addCube(tapLocation: SIMD3<Float>) { ... }
}

20:00 - function HandTrackingProvider

class TimeForCubeViewModel: ObservableObject {
    ...
    private let fingerEntities: [HandAnchor.Chirality: ModelEntity] = [
        .left: .createFingertip(),
        .right: .createFingertip()
    ]

    ...
    func processHandUpdates() async {
        for await update in handTracking.anchorUpdates {
            let handAnchor = update.anchor

            guard handAnchor.isTracked else { continue }

            let fingertip = handAnchor.skeleton.joint(named: .handIndexFingerTip)

            guard fingertip.isTracked else { continue }

            let originFromWrist = handAnchor.transform
            let wristFromIndex = fingertip.rootTransform
            let originFromIndex = originFromWrist * wristFromIndex

            fingerEntities[handAnchor.chirality]?.setTransformMatrix(originFromIndex,             relativeTo: nil)
        }

21:20 - function SceneReconstruction

func processReconstructionUpdates() async {
        for await update in sceneReconstruction.anchorUpdates {
            let meshAnchor = update.anchor
            
            guard let shape = try? await ShapeResource.generateStaticMesh(from: meshAnchor)             else { continue }
            
            switch update.event {
            case .added:
                let entity = ModelEntity()
                entity.transform = Transform(matrix: meshAnchor.transform)
                entity.collision = CollisionComponent(shapes: [shape], isStatic: true)
                entity.physicsBody = PhysicsBodyComponent()
                entity.components.set(InputTargetComponent())

                meshEntities[meshAnchor.id] = entity
                contentEntity.addChild(entity)
            case .updated:
                guard let entity = meshEntities[meshAnchor.id] else { fatalError("...") }
                entity.transform = Transform(matrix: meshAnchor.transform)
                entity.collision?.shapes = [shape]
            case .removed:
                meshEntities[meshAnchor.id]?.removeFromParent()
                meshEntities.removeValue(forKey: meshAnchor.id)
            @unknown default:
                fatalError("Unsupported anchor event")
            }
        }
    }

22:20 - add cube at tap location

class TimeForCubeViewModel: ObservableObject {
    func addCube(tapLocation: SIMD3<Float>) {
        let placementLocation = tapLocation + SIMD3<Float>(0, 0.2, 0)

        let entity = ModelEntity(
            mesh: .generateBox(size: 0.1, cornerRadius: 0.0),
            materials: [SimpleMaterial(color: .systemPink, isMetallic: false)],
            collisionShape: .generateBox(size: SIMD3<Float>(repeating: 0.1)),
            mass: 1.0)

        entity.setPosition(placementLocation, relativeTo: nil)
        entity.components.set(InputTargetComponent(allowedInputTypes: .indirect))

        let material = PhysicsMaterialResource.generate(friction: 0.8, restitution: 0.0)
        entity.components.set(PhysicsBodyComponent(shapes: entity.collision!.shapes,
                                                   mass: 1.0,
                                                   material: material,
                                                   mode: .dynamic))

        contentEntity.addChild(entity)
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23