ARKitを活用したより高度な空間コンピューティング体験の創出

ARKitを活用したより高度な空間コンピューティング体験の創出

ARKitの最新機能を使用して、魅力的なイマーシブ体験を作成する方法をご紹介します。部屋のトラッキングとオブジェクトトラッキングを使用し、周囲とよりスムーズに連携させる方法をご確認いただけます。このプラットフォームで利用できる、周囲の照明の変化に応じてアプリを調整する機能もご紹介します。強化されたハンドトラッキングと平面検出機能もご紹介します。これらの機能を使用すると、より直感的な空間体験を実現できます。

関連する章
- 0:00 - Introduction
- 2:30 - Room tracking
- 5:46 - Plane detection
- 6:46 - Object tracking
- 9:34 - World tracking
- 11:38 - Hand tracking
リソース
関連ビデオ

WWDC24
WWDC23
- 空間コンピューティング向けのARKitについて
ダウンロード

こんにちは Divyeshですこのセッションでは visionOSのARKitに新たに追加される新機能をご紹介します昨年 Appleは OS全体にわたってコアなリアルタイムアルゴリズムをホストする ARKitを導入しました皆さんがARKitのトラッキング機能やシーン認識機能を使用して驚異的な空間体験を構築していることに感銘を受けています例えばBlackboxは ARKitを活用してパズルを解くのに必要な手のジェスチャを検出しますまたSuper Fruit Ninjaではハンドトラッキングを使って果物をスライスしシーン認識機能を使用して床に飛び散る果物のしぶきをリアルに表現しています私達は皆さんの意見をもとに周囲の環境をさらに理解し処理できるアプリを開発できるようこの1年でいくつかの新機能を開発しましたではその新機能をいくつかご紹介しますまずシーン認識の機能がさらに向上しました新しいルームトラッキング機能もありますアップデートされた平面検出機能では今いる部屋をベースに体験をカスタマイズできます新しいオブジェクトトラッキング機能もご紹介しますこの機能では現実世界のオブジェクトをインタラクティブに視覚化できますその後 ARKitのワールドトラッキングがより多様な照明条件に対応可能になったことを説明しますそして最後にハンドトラッキングの最新機能がアプリにもたらすメリットについて説明しますまず visionOSにおけるARKitについて簡単に確認しておきましょうフルスペースで表示されている visionOSアプリは ARKitからアンカーの形式でデータを受け取ることができます
アンカーは3次元空間における位置と向きを表します例えば平面検出データは PlaneAnchorの形式で提供されますこのアンカーには現実世界で検出された平面の情報が保持されます
ARKitはデータプロバイダを通じてアプリにアンカーを渡しますデータプロバイダは ARKitの個々の機能を設定しそのデータを受け取るためのインターフェイスです PlaneDetectionProviderはPlaneAnchorを受け取るためのインターフェイスです
ARKitSessionを実行するにはそのアプリで一緒に使用する一連のデータプロバイダを指定します ARKitのAPIを初めて使う方やもっと詳しく知りたい方は昨年のセッション「Meet ARKit for spatial computing」をご覧くださいでは1つ目の新機能ルームトラッキングをご紹介します visionOSのアプリの多くはユーザーがいる室内に設定されますメッシュと平面のアンカーデータを使えば仮想コンテンツをリアルに配置して場面を補強できますではこれをさらに一段高いレベルへと進めてみましょう寝室に入ると仮想のペットが迎えてくれることを想像してみてくださいルームトラッキングを使えばそのようなユニークな体験を訪れる空間に合わせて調整できます
周囲を見渡すと ARKitによって今いる部屋の境界が識別されますこの情報を使用して検出された壁や床の正確なジオメトリが計算されますさらにARKitでは部屋から部屋への移動も認識されます新しいエリアに入ると今度は今いるスペースのデータが表示されるようになりますこのためアプリでは今いる部屋に応じた体験を提示できます
これらすべての情報はワールドセンシングの許可が必要な新しいルームトラッキングのデータプロバイダを通じて表示されます
RoomTrackingProviderはユーザーが訪問した部屋についての情報を提供します現在閉じた空間にいるとARKitが判断すると現在の部屋のアンカーにアクセスできるようになります現在の部屋のアンカーを使用してそのインテリアのレイアウトに沿った体験を作り出すことができます
アプリで非同期のルームトラッキングの更新をリッスンすることもできますこれは他のデータプロバイダからアンカーを受信する方法と同じですこの方法は特に部屋から部屋へと移動する際現在いる空間の最新情報を受け取るときに役立ちます
なお RoomTrackingProviderで更新されるのは現在いる部屋のアンカーデータのみですでは実際に見てみましょう各RoomAnchorは特定の閉じた空間に関する情報を保持しています
このアンカーは現在の部屋をモデル化するかどうかを示しますこれは特定のコンテンツを自分が今いる空間だけに表示する場合に便利です
各RoomAnchorは周囲の壁や床の配置情報も保持していますこの情報は部屋の形状を定義する頂点と辺そして三角形の面の集まりで構成されますこのメッシュはメッシュアンカーや平面アンカーに見られるジオメトリと比べてより部屋の境界に沿っています
完全な壁や床ごとに1つずつ独立したジオメトリの配列としてメッシュを取得することもできますこれらは部屋の外に配置された仮想コンテンツを隠す場合や壁全体を背景に仮想ポータルを開くなどの拡張現実体験で役立ちますまた特定の3次元点が部屋の境界内に存在するかどうかをテストすることもできますワールドトラッキングと組み合わせればある部屋に入るとバーチャルオブジェクトが動き出すという魔法のような体験を実現できます
最後にこの新しいアンカーには部屋に関連する平面とメッシュのアンカーIDが含まれますこれらを他のシーン認識機能と組み合わせればアプリを最適化するのに役立ちます例えば現在の部屋の外にある平面やメッシュについては負荷の高い演算を避けることができますアプリでルームトラッキングを活用する方法は他にも沢山ありますぜひいろいろ試してみてください次に新しくなった平面検出機能について説明します ARKitは周囲の平坦な面を検出するとそれに関する情報をPlaneAnchorの形式で提示することができますこれは机の上にボードゲームを置いたり壁に仮想ポスターを貼ったりなど様々な面に仮想コンテンツを配置するのに便利です PlaneDetectionProviderは水平面や垂直面が検出された際に
アプリに通知することができます
さらに今年は新しい傾斜面(Slanted) のアラインメントが導入され斜面も検出できるようになりました
アプリは変更なしで引き続き水平方向と垂直方向に配置された平面アンカーを受信します傾斜面アンカーも取得したい場合は 1つの変更だけで簡単に取得できるようになっています必要なのは PlaneDetectionProviderに設定するアラインメントの更新だけです
単に新しい傾斜アラインメントを追加します簡単ですよね
次はオブジェクトトラッキングですこれはvisionOSの新機能です ARKitで環境内に静的に配置された現実世界のオブジェクトをトラッキングできるようになりましたオブジェクトトラッキングを使用すると各アイテムの位置と向きを取得してそれらに仮想コンテンツを固定できます例えば教育アプリではユーザーが特定の楽器を見ている時に 3D視覚エフェクトを表示することができます ARKitでこれらのアイテムをトラッキングするには一連のReferenceObjectを指定する必要があります参照オブジェクトは現実世界にある既知のオブジェクトの空間的特徴をエンコードします ReferenceObjectを作成するにはまずトラッキングするアイテムの3Dモデルを USDZ形式で用意します
次に CreateMLの新しい空間オブジェクトトラッキング機能を使用してアセットからReferenceObjectを生成します
最後に生成したReferenceObjectを使って ARKitでトラッキングを行います
ReferenceObjectの作成方法の詳細は今年のセッション「Explore object tracking for visionOS」をご覧ください
今回は ReferenceObjectを作成した後に ARKitで物理的なアイテムをトラッキングする最後のステップに焦点を当てます
新しいAPIを使えばいかに簡単か見てみましょう
ReferenceObjectは実行時にファイルURLまたはバンドルからロードできます
ここでは地球のReferenceObjectを URLでロードします
参照オブジェクトが正常にロードされたらそれを使用して新しい ObjectTrackingProviderを設定します
次に新しいObjectTrackingProviderを ARKitSessionで実行します
データプロバイダが実行状態になったら受信されたトラッキング結果の処理を開始できます
トラッキング結果は ObjectAnchorの形で提示されそれぞれがトラッキングされた 1つのアイテムを表します
ObjectAnchorには検出したオブジェクトの AxisAlignedBoundingBoxが保持されますこのバウンディングボックスの中心と範囲そして最小と最大の3D座標点を取得できます
このアンカーには対応する ReferenceObjectも保持されます元のUSDZファイルのパスが ReferenceObjectに含まれていればここからアクセスできます
ObjectAnchorのアップデートも他のデータプロバイダの場合と同様にリッスンできます最新のトラッキングのアップデートを使えば素晴らしい仮想コンテンツでオブジェクトを補完できます例えば地球にリアルな影を落とす衛星を追加したり地球のコアを覗き込んだりすることもできます
サンプルのアプリも公開していますのでダウンロードしてデバイスで試すことができますぜひ後でチェックして詳細をご確認くださいではこのプラットフォームの基盤であるワールドトラッキングの改良点をいくつかご紹介します ARKitは様々なカメラとセンサーを使ってワールドトラッキングのような高度なアルゴリズムを実行しますユーザーがいる物理的位置の照明が不十分な場合センサーのデータに影響しアルゴリズムがシームレスに動作しなくなる可能性があります例えば明かりのない暗い部屋ではワールドトラッキングの質が低下する可能性があります
今年はこのような照明の変化に対応するメカニズムが追加されました照明が不十分などの物理的要因によってトラッキングが制限されていることが検出されるとその後は向きの変化だけがトラッキングされ空間内の位置はトラッキングされなくなります
皆さんのアプリはこの向きベースのトラッキングをシステムレベルで利用することができます難しい環境に置かれた場合でも照明が原因でトラッキングが完全に失われる心配がありません
このような状況に十分に備えておきたい場合はトラッキング中のこうした変更を通知するAPIも提供していますので状況に応じて体験を調整することができますアンカーの位置は更新せずに配置したコンテンツをきれいに並べ替えたい場合もありますアプリが完全にワールドトラッキングに依存している場合はもっと明るい場所に移動して再開するようユーザーに指示する必要があります
SwiftUIを使用している場合新しい「worldTrackingLimitations」環境値によってこれを指示できます例えば位置をトラッキングできないときはこの値の変更をリッスンしてコンテンツを並べ替えることができます
ARKitでは DeviceAnchorが拡張されて「.trackingState」プロパティが追加されましたこのプロパティはトラッキングが完全に機能しているかまたは向きベースのトラッキングのみに制限されているかを示します向きベースのトラッキングに切り替わると既存のワールドアンカーが「not tracked」とマークされる場合がありますワールドトラッキングが復旧すると持続アンカーのトラッキングステータスは元に戻ります
最後にこのプラットフォームでの主な入力手段であるハンドトラッキングの進化について説明します visionOSの導入によりユーザーの手や指をトラッキングする機能が追加されましたアプリではこの情報を使ってジェスチャを検出し仮想コンテンツをユーザーの手の位置に固定できます
昨年 Appleはこの情報を HandAnchorの形式で取得するための 2つの方法を確立しました 1つは HandTrackingProviderをポーリングして最新のアップデートを確認する方法もう1つは HandAnchorが利用可能になった時点で非同期で受け取る方法です幸いなことに HandTrackingProviderは今後このデータを表示レートで提示するようになります非同期のHandAnchorの更新には多少の遅延がありますが表示に合わせたより高い頻度で提供されるため動作がよりスムーズになりますこの効果は特にApple Vision Proの装着時に感じることができます最小限の遅延でハンドトラッキングの結果を得たい場合 ARKitでは近い将来のある時点における HandAnchorの位置を予測できるようになりました Compositor ServicesとRealityKitのどちらを使ってレンダリングする場合も新しいハンド予測APIを活用すればトラッキング結果をすばやく取得できます
では例を見てみましょう Compositionor Servicesを使用する場合は visionOSに新たに導入された「trackableAnchorTime」をターゲットにしますこのタイムスタンプでHandAnchorを予測することで最適なコンテンツ登録が可能になります
そのタイムスタンプを秒に変換して ARKitに渡せば高度な前方予測を行うことができますこのアプリでは Compositor Servicesを使って仮想ティーポットをレンダリングしています予測されたHandAnchorを使用することでアンカーされたティーポットは手を動かしても手に固定されたままになりますこれは低レイテンシの予測なので精度が多少犠牲になる場合があることに注意してください Compositor Servicesを使ったレンダリングの詳細については今年のセッション「Render Metal with passthrough in visionOS」をご覧くださいまた昨年のセッション「Meet ARKit for spatial computing」で示した例も参考になるでしょう
ハンドトラッキングのこれらの強化機能は様々なユースケースにメリットをもたらします表示に合わせたHandAnchorの更新は遅延がそれほど問題にならない場合のジェスチャ検出やスムーズなストローク描画に適していますハンド予測は滑らかさはそれほど重要ではなくコンテンツをできるだけ手に固定しておきたい場合に役立ちます
これらの進化機能はRealityKitの側でも手のAnchorEntityに反映されました
RealityKitを使って手の近くにコンテンツを固定する場合必要に応じて「continuous」または「predicted」のハンドトラッキングを選択できます
詳しい例は新しいセッション「Build a spatial drawing app with RealityKit」をご覧ください以上が今年のARKitの新機能ですこのセッションでは空間コンピューティング体験の強化に役立つ最新機能について説明しました
またデベロッパの創造性をさらに高める新しいルームトラッキングとオブジェクトトラッキングの機能も紹介しました新しいvisionOSの活用に役立つ素晴らしいセッションが多数用意されていますチーム一同皆さんが新しいARKitで素晴らしいアプリやゲームを生み出すのを楽しみにしていますご視聴ありがとうございました

// RoomTrackingProvider

@available(visionOS, introduced: 2.0)
public final class RoomTrackingProvider: DataProvider, Sendable {

    /// The room which a person is currently in, if any.
    public var currentRoomAnchor: RoomAnchor? { get }

    /// An async sequence of all anchor updates.
    public var anchorUpdates: AnchorUpdateSequence<RoomAnchor> { get }

    ...
}

4:20 - RoomAnchor

@available(visionOS, introduced: 2.0)
public struct RoomAnchor: Anchor, Sendable, Equatable {
    /// True if this is the room which a person is currently in.
    public var isCurrentRoom: Bool { get }

    /// Get the geometry of the mesh in the anchor's coordinate system.
    public var geometry: MeshAnchor.Geometry { get }
    /// Get disjoint mesh geometries of a given classification.
    public func geometries(of classification: MeshAnchor.MeshClassification) -> 
        [MeshAnchor.Geometry]

    /// True if this room contains the given point.
    public func contains(_ point: SIMD3<Float>) -> Bool
   
    /// Get the IDs of the plane anchors associated with this room.
    public var planeAnchorIDs: [UUID] { get }
    /// Get the IDs of the mesh anchors associated with this room.
    public var meshAnchorIDs: [UUID] { get }
}

8:06 - Load Object Tracking referenceobject

// Object tracking

Task {
    do {
        let url = URL(fileURLWithPath: "/path/to/globe.referenceobject")
        let referenceObject = try await ReferenceObject(from: url)
        let objectTracking = ObjectTrackingProvider(referenceObjects: [referenceObject])
    } catch {
        // Handle reference object loading error.
    }
    ...
}

8:27 - Run ARKitSession with ObjectTracking provider

let session = ARKitSession()

Task {
    do {
        try await session.run([objectTracking])
    } catch {
        // Handle session run error.
    }
    
    for await event in session.events {
        switch event {
        case .dataProviderStateChanged(_, newState: let newState, _):
            if newState == .running {
                // Ready to start processing anchor updates.
            }
        ...
        }
    }
}

8:43 - ObjectAnchor

// ObjectAnchor

@available(visionOS, introduced: 2.0)
public struct ObjectAnchor: TrackableAnchor, Sendable, Equatable {

    /// An axis-aligned bounding box.
    public struct AxisAlignedBoundingBox: Sendable, Equatable {
        ...
    }

    /// The bounding box of this anchor.
    public var boundingBox: AxisAlignedBoundingBox { get }

    /// The reference object which this anchor corresponds to.
    public var referenceObject: ReferenceObject { get }
}

11:03 - World Tracking - reacting to changes in lighting conditions

struct WellPreparedView: View {
    @Environment(\.worldTrackingLimitations) var worldTrackingLimitations
    
    var body: some View {
        ...
 
        .onChange(of: worldTrackingLimitations) {
            if worldTrackingLimitations.contains(.translation) {
                // Rearrange content when anchored positions are unavailable.
            }
        }
    }
}

12:51 - Hands prediction

// Hands prediction

func submitFrame(_ frame: LayerRenderer.Frame) {
    ...

    guard let drawable = frame.queryDrawable() else { return }

    // Get the trackable anchor time to target.
    let trackableAnchorTime = drawable.frameTiming.trackableAnchorTime

    // Convert the timestamp into units of seconds.
let anchorPredictionTime = LayerRenderer.Clock.Instant.epoch.duration(to:     trackableAnchorTime).timeInterval  

    // Predict hand anchors for the time that provides best content registration.
    let (leftHand, rightHand) = handTracking.handAnchors(at: anchorPredictionTime)
    
    ...
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24

WWDC23