Nearby Interactionについて

Nearby Interactionについて

Nearby Interactionフレームワークは、U1チップを搭載しオプトインしたAppleデバイス間の距離と方向をストリーミングします。このハードウェアとソフトウェアの強力な組み合わせにより、2つ以上のデバイスの相対的な位置に基づく直感的な空間インタラクションをどう実現するかをご覧ください。ここでは、このセッションベースのAPIをご紹介し、常にプライバシーを意識しながら、まったく新しいインタラクティブな体験を届ける方法をお見せます。

リソース
関連ビデオ

WWDC22
- Nearby Interactionの最新情報
WWDC21
- サードパーティ製アクセサリとのNearbyインタラクション
- 空間インタラクションのためのデザイン
WWDC20
- プライバシーの強化で信頼を築く
- 位置情報に関する新機能
ダウンロード

こんにちは WWDCへようこそこのセッションは “Nearby Interactionのご紹介”です私はヤギルと言います Appleの位置情報チームのエンジニアです本日はiOSの空間認識を基盤とするまったく新しいレベルのユーザ対話を構築する方法についてお話しします空間認識とは要するに周囲の物理的世界を把握することです手持ちのデバイスでそれが実現できれば環境に応じた流れるような操作が可能になります
これはiOS 13のAirDropですここで表示しているものは iPhone 11で初めて利用可能になった空間認識技術を利用していますユーザは自分のデバイスを他の人のデバイスに向け共有シートに強いヒントを与えて最も適切な共有の選択を表示させることができます
この種の高精度な対話は Appleが設計したU1チップのおかげで初めて可能になりました
この機能をApp.でご活用いただきたいと思いますそのため本日はNearby Interaction フレームワークをご紹介します強力かつ使いやすい iOSの空間認識インターフェースですユーザ制御と透明性についてお話しすることから始めましょう App.が他のユーザのデバイスとの間で Nearby Interactionセッションを開始しますシステムが最初にすることは両方のユーザに承認ダイアログを表示することですユーザは近傍のデバイスとの交信を許可しないことや 1回限りの許可を与えることもできますその場合App.を終了するまで許可が有効になります両方のユーザが許可を選択すると双方のデバイスで両者がどれだけ離れているかそしてどの方向にあるか把握し始めます
この種の豊かな空間情報によって App.内でより自然で直感的なユーザ体験を作り出すことができます Nearby InteractionはU1チップ内蔵の iOS 14を実行するデバイスで利用できます
本日ご説明する内容です最初にNearby Interactionを利用した iOSの空間認識についてご説明しますそれから相対位置の更新ストリーミングの開始に必要なことについてご説明しますそして最後にApp.に採用できそうなベストプラクティスについてお話ししますでは始めましょう
Nearby Interactionの App.に対する主な出力は2種類ありますデバイス間の距離と一方から他方への相対的な方向です App.がNearby Interactionセッションを実行していると距離と方向の情報を含む連続した更新のストリーミングを得ることができますこのスライドで分かるようにこれらの更新は双方向性ですセッションの両側のデバイスが相互の相対的位置を同時に把握することができます App.は単一のデバイスとの交信のみに限定されませんそれぞれのデバイスは同時に複数のセッションを実行できます１セッションに対し相手側ピアは１つですこの図では4つのデバイスがそれぞれ相互に交信しています各デバイスは３つのセッションを並行して実行しています
これを実行するためのインターフェースについてご説明しましょう最初にNearby Interactionセッションオブジェクトの作成から始めます Nearby Interactionはすべてセッションにカプセル化されています ARKitのような他のAppleフレームワークと同じパターンですセッションオブジェクトに対して実行したい設定を送ります App.を実行している複数のユーザがいて空間的な意味で相互に対話させたいとしましょう実現するには両側のシステムに対してApp.が近傍にある相手デバイスの特定方法を知らせますピアの発見が重要な概念となりますデバイスはお互いをプライバシー保護しながら発見できますそのために使われるのが発見トークンです発見トークンとはデバイスごとに特定のNearby Interactionセッション内でランダムに生成される識別子です
発見トークンは使用できる期間に限定がありますその期間はセッションそのものの期間と全く同じですつまりセッションを無効化したり App.を終了したりするとあらゆるセッションと付随するトークンは無効化されますトークンはシステムが生成し App.はセッションオブジェクトを通じてそれを受け取ります作成された各セッション固有で一意の発見トークンが付随します最後にApp.は発見トークンをセッションオブジェクトからコピーして対話したい相手ユーザと共有しますそれが何を意味するか詳しく見ていきます
これらのデバイスの両方でApp.が実行されていて App.にはデバイス間で相互に通信できるネットワーク層があるとしますネットワーク層を使ってデバイスから相手デバイスに発見トークを送ります一方のデバイスでも全く同じことを行いますどうやって実行するのでしょうか？発見トークンの種類は NSSecureCodingプロトコルに準拠していますつまり簡単にトークンをエンコードして相手に送信できます App.が利用可能などの送信技術でも使えますたとえばAppleの MultipeerConnectivityフレームワークも使えますあるいはApp.が対応していればクラウド送信も可能
ブロックダイアグラムに戻ると App.が交換した発見トークンはセッション設定に入力されますそしてその設定は「実行」メソッドを通じてセッションに提供されます
それではプログラムを見てみましょう
この短いプログラムで App.でセッションを動かすために必要なことがすべてわかりますまずセッションオブジェクトを作成それにより見えないところで発見トークンを含むセッションを実行するために必要なリソースをすべて割り当てます次にシステムからのコールバックを受け取れるようにセッションのデリゲートを作成します
次の段階はセッション特有の発見トークンの交換ですこれはApp.のネットワーク層を通じて行う必要がありますトークン交換段階が完了するとセッション設定作成に進みます最後にその設定を使ってセッションを実行します
プログラムに合わせて構築を進めていきましょうセッションは更新を提供する先のデリゲートを取得しますそして「実行」を呼び出すとデリゲートが近傍オブジェクトの更新データを取得し始めますこれがNearby Interactionセッションの基本構造です
それではデモの時間です距離および方向を利用する小さなApp.を見てみましょう Monkey TimeですここにApp.があり向こうのテーブルにある iPhoneでも実行されています既にセッションを開始しています画面の表示を見てみましょう一番上に測定された距離がありそれが更新されているのが見えますそしてマスコットのサルがここに表示されますサルは目を覆っていますそれではもう一つのiPhoneに近づいてみて何が起きるか見てみましょう
OK ここまで多くのことを話したので一度まとめますセッションを実行するにはまず各ピアでセッションオブジェクトを作成しそのピアでトークンを交換します発見トークンが交換されるとセッション設定が作成されます更新ストリーミングを開始するにはその設定でセッションを実行しますセッションを中断することも可能後から「実行」メソッドを呼び出すことで再開することもできます「実行」を呼び出すとセッションから更新データを得られるとご説明しましたそのことを前提にApp.内で実装できるデリゲートの― コールバックについてより詳しく見ていきましょう
セッションデリゲートプロトコルです App.はdidUpdateコールバックを実装することによって近傍のデバイスの更新を受信できます他にもいくつか面白いメソッドがありますシステムはApp.に対して近傍オブジェクトとの対話がなくなると通知しますこの通知には関連する理由が付いてきます理由として予期されるものは２つあり「timeout」と「peerEnded」です２つはいくつか重要な点で異なります Timeoutはある期間においてセッション内で活動がなかったということを意味しますこれはたとえば２つのデバイスが離れすぎた場合に起きます一方で PeerEndedとはセッションが相手側で明示的に無効化されたことを意味しますここで一つ注意ですこの通知はベストエフォートで配信されますそのため必ず受け取れるとは限りません以上が近傍オブジェクトがなくなる理由です最後の３つのデリゲートコールバックはセッションのライフサイクルと関連がありますセッション実行を妨げる状況が発生するとデリゲートは中断通知を受け取ります
たとえばセッションはApp.が最前面でなくなった場合などに中断されますセッションを再開するためには中断が終了したという― 通知を受け取る必要があります中断が終了したコールバックを受け取った場合もセッションは自動的には再開しませんその時点でセッションをどうするか決定するためですセッションを再開したい場合双方で「実行」を呼び出せます最初にセッションを開始した時と同様ですしかし今回はトークンを交換する必要はありません
最後に重要なものとして sessionDidInvalidateコールバックがありますこれはApp.に対してセッションが無効化されたことを通知しますセッションは特定のエラー状態かリソース制限があると対応するエラーコードと共に無効化されます無効化されたセッションは再度実行できません付随するトークンももう使えません対話再開には新しいセッションを作成して発見トークンを再交換します
以上がシステムから得る可能性があるさまざまなデリゲートコールバックです
全体図に戻ります単一のセッションを図示しています App.は複数セッションを同時に実行できるとお話ししましたこれが複数セッション時にどうなるかを示した図です１ピアに対して１セッションを作成し必要に応じApp.のその他の部分を再利用できますたとえば私はすべてのセッションに同じデリゲートを使用しました
「１ピアに対して１セッション」という原則を維持することは複数セッションの管理を簡単にします複数の近傍にある各デバイスに各1つの対話セッションを作成することで同時に対話できますそのデバイスと会話するのと同様とお考え下さいセッションは辞書のようなデータ構造での保存を推奨しますピアユーザに関するApp.の理解を Nearby Interactionセッションと関連付けるためですこれでいくつかのセッションを構築して実行できましたそして近傍オブジェクトについて更新データが得られるようになりましたここで近傍オブジェクトに含まれるデータの詳細について― さらにApp.でのそのデータの利用方法も見ていきます
各近傍オブジェクトは３つのプロパティで成りますまず設定でセッションに入力した発見トークンですこのプロパティで最初にトークンを受け取ったユーザにこれらの更新データをひも付けることができます次のプロパティは距離ですメーター単位の距離測定結果を含み２つのデバイスの距離を表します最後のプロパティは方向です自分のデバイスのローカル位置から見た相手デバイスの相対位置を三次元の単位ベクトルで表示したものが含まれます
実際のプログラム表示です近傍オブジェクト識別のための発見トークン自分と相手間のメートル単位の距離測定結果 App.相手への相対位置を表すベクトルです注意いただきたいのは距離と方向のプロパティはNULL値をとれるということですベストプラクティスのための素晴らしい前振りを覚えておいてくださいまずハードウェアのサポート状況を必ず確認しましょう次にApp.の戦略的立ち位置を決定 Nearby Interactionがサポートされているかの確認結果に基づきます必要に応じ別のユーザ体験にフォールバックしましょう次に方向性のある視野角の概念を理解しましょうたとえばカメラのような他のハードウェアセンサーと同様に Nearby Interactionに使用されるハードウェアには視野角の制限があります視野角は概念的にはこのように円錐型です iPhoneの裏側から出ていますほぼiPhone 11の超広角カメラの視野角とほぼ一致しています対話相手のデバイスが視野角の中にある場合― 高い信頼性を持った更新データは距離と方向の両方で作成されることが期待できますしかし片方のデバイスが方向性のある視野角から外れている場合 App.は距離の更新のみで方向は得られない可能性があります App.を開発でユーザ体験を設計する際にはそこに留意してください次にデバイスの物理的な向きの影響を理解ください最適な結果を得るには２つのデバイスが縦向きである必要があります１つのデバイスが縦でもう１つが横の場合測定結果が限定される可能性があります絶対に避けなくてはならない状況ですそのような状況にならないよう App.で誘導しなくてはなりません次に閉塞に注意します互いの見通しがはっきりしている２つのデバイスは最適の結果を得ることができますデバイス相互の見通しの問題として考えることができます壁や人など障害物がデバイス間にあると測定の可用性が減少しますお話ししたように近傍オブジェクトの距離と方向のプロパティがNULL値になる可能性がありますしたがってこれまで説明した理由でどちらも作成できない場合フィールドがゼロになると予想されますこれに備えアプリケーションでNULL値を適切に処理してください開発プロセスに関するすべてのベストプラクティスのために Xcode内でサポートされているネイティブ統合シミュレーターを活用しましょう実機で実行するのと同じアプリケーションプログラムを２つ以上のシミュレーターウインドウで実行し距離と方向の更新を得られるようにできます皆さんにこれをお届けできて嬉しいですそしてこの機能で開発プロセスが簡単かつ迅速になることを期待していますベストプラクティスのための最後の推奨事項として XcodeのNearby Interactionシミュレーションのネイティブサポートを活用しましょう
本日はNearby Interactionをご紹介しましたこれでApp.が空間認識できるようになります新たなユーザ操作を実現しますそれはデバイス間の相対位置の認識に基いていますセッションへのご参加ありがとうございましたこの技術を利用して生み出されるApp.を楽しみにしています

// A session instance. Store in whichever data structure makes the most sense for your app.
var niSession: NISession?

// Instantiate a new session object and set the session's delegate.
func prepareMySession() {
  // Verify hardware support.
  guard NISession.isSupported else {
    print("Nearby Interaction is not available on this device.")
    return
  }
  
  // Create a new session for each peer.
  niSession = NISession()

  // Set the session’s delegate.
  niSession?.delegate = self // This class of 'self' needs to conform to NISessionDelegate.
}

// Share the encoded discovery token to the peer you intend to interact with.
func sendDiscoveryTokenToMyPeer(myPeer: Any /* change to whichever type represents peers in your app */) {                                
	guard let myToken = niSession?.discoveryToken else {
		// The session object is not initialized or has been invalidated.
		return
	}

	if let encodedToken = try? NSKeyedArchiver.archivedData(withRootObject: myToken, requiringSecureCoding: true) {
		<# share token using your app's networking layer #>
	}
}

// Once you receive a token from the peer, create a configuration and run the session.
// This functions shows how to decode token data that was previously encoded using NSKeyedArchiver.
func runMySession(peerTokenData: Data) {
  guard let peerDiscoveryToken = try? NSKeyedUnarchiver.unarchivedObject(ofClass: NIDiscoveryToken.self, from: peerTokenData) else {
    print("Unexpectedly failed to decode discovery token.")
    return
  }

  // Create a session configuration using the discovery token received from the peer.
  let config = NINearbyPeerConfiguration(peerToken: peerDiscoveryToken)

  // Run the session with the configuration.
  niSession?.run(config)
}

12:40 - Verify hardware support

// Always verify hardware support.
guard NISession.isSupported else {
  print("Nearby Interaction is not available on this device.")
  return
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC21

WWDC20