visionOS向けエンタープライズAPIのご紹介

visionOS向けエンタープライズAPIのご紹介

visionOS向けの新しいエンタープライズAPIを使用して、Apple Vision Proで従業員やユーザーの生産性を高める空間体験を創出する方法を学びましょう。

関連する章
- 0:00 - Introduction
- 2:36 - Enhanced sensor access
- 11:38 - Platform control
- 18:39 - Best practices
リソース
関連ビデオ

WWDC24
- デバイス管理の新機能
ダウンロード

こんにちは Kyle McEachernです Vision Pro Enterprise チームのエンジニアです今日は visionOS向けエンタープライズAPIと呼ばれる機能セットについてお話しします Vision Proのリリース以降エンタープライズのお客様からビジネスの変革に役立つアプリを構築するための新しい機能を求める声が届いています今日はこれらのエンタープライズAPIによって visionOSに追加される新しい機能をご紹介します Vision Proを利用すれば様々なエンタープライズ環境で作業をより簡単により生産的により正確に行えるようになります例えばより効果的なコラボレーションとコミュニケーションのための新しい空間体験が得られます複雑なタスクを簡単にするためのガイド付き作業アクティビティを作成したりこれまで不可能だったまったく新しい空間体験を実現することもできますこうした様々な環境をサポートするため Appleは今年エンタープライズのお客様とそのアプリに新たな可能性をもたらす 6つの新しいAPIを提供します素晴らしいですよね APIの詳細な説明に入る前に重要な点を理解しておく必要がありますこれらのAPIは多くの業界で広範な用途をサポートする一方既存のAPIよりはるかに高いレベルでデバイス機能へアクセスすることができます Appleはプライバシーが基本的人権だと考えているためこれらのAPIももちろんプライバシーを考慮して設計されていますこれらのAPIが適切な状況でのみ使用されることを保証するために管理されたエンタイトルメントとアプリのエンタイトルメントを有効にするデベロッパアカウントに紐付くライセンスファイルが必要です
これらのAPIはエンタープライズでの利用のみを想定しているためエンタイトルメントを利用できるのは独自の社内向けアプリや他の企業向けにカスタムメイドされ Apple Business Managerを通じて組織のユーザーに個別に配布されるアプリのみとなります最初のカテゴリはセンサーアクセスを強化し Vision Proのビジュアル機能を向上させる APIで構成されていますこれにはメインカメラへのアクセスキャプチャとストリーミング機能の改善カメラを通じた機能の強化が含まれます
2つ目のカテゴリはプラットフォームのコントロールに焦点を当てています Apple Neural Engineを介した高度な機械学習機能強化されたオブジェクトトラッキング機能負荷の高い作業に対する演算性能を高めるためアプリのパフォーマンスを調整する機能が含まれます今日はこれらのカテゴリについて 6つの新しいAPIの実装方法とそれらの使用例について説明し最後にベストプラクティスをお伝えしますでは最初のカテゴリ強化されたセンサーアクセスから始めていきましょう最も一般的なリクエストの1つがメインカメラへのアクセスですのでここから始めていきますこの新しいAPIを有効にすると Vision Proの周囲の環境全体を見ることができますこのAPIによりアプリが Vision Proのメインカメラビデオフィードにアクセスできるようになります
このフィードを分析して解釈し見えている物に基づいて実行するアクションを決定することで多くの高度な空間機能を利用できるようになります
例えばこちらは生産ラインでの使用例ですメインカメラフィードとコンピュータビジョンのアルゴリズムを使用して異常を検出し品質基準を満たさない部品を迅速に特定してそれを良品と交換することができますではメインカメラフィードにアクセスしそれをアプリに埋め込む方法を見ていきましょうこの「main-camera-access.allow」エンタイトルメントとアプリと共にビルドされた有効なエンタープライズライセンスファイルにより APIを利用しビデオフィードを取得することができますエンタイトルメントがセットアップされたらコア変数を設定しますまずCameraFrameProviderをセットアップしサポート対象フォーマットを「main」と定義してメインカメラからフィードを取得できるようにしますさらにARKitSessionと CVPixelBufferを作成してフィードを保存および表示します次にメインカメラへのアクセスのためにユーザー承認をリクエストした後 CameraFrameProviderを ARKitSessionに渡して実行します
これが完了したら CameraFrameProviderからビデオフレームを取得し「main」フォーマットの CameraFrameUpdatesをリクエストしてアクセスするための変数に保存します最後に受け取った各フレームを取得しユーザーの左側にある「main」カメラからのサンプルを .left値から取り出して Pixel Bufferに入れますこれでアプリ内で自由に使用できるようになります簡単ですねメインカメラへのアクセスはエンタープライズアプリに非常に多くの可能性をもたらしますここではその一部しか挙げていませんが実に様々な業界にわたって真の影響力を持つ可能性を秘めています今日はそのお話しができるのでとてもワクワクしています次にスクリーンキャプチャにパススルービデオを含める方法をご紹介しましょうこれまで Vision Proでスクリーンキャプチャを行うとユーザーが開いているすべてのウィンドウがキャプチャされましたが背景は削除されユーザーの周囲のパススルービデオフィードは含まれませんでしたこれからはVision Proでユーザーが見ているすべての物をキャプチャし共有することができますこのAPIを使うと visionOSでのスクリーンキャプチャにパススルーカメラのフィードを含めた完全な空間ビューが実現しますユーザーが見ているすべてが含まれそれをキャプチャして保存することも別のデバイスのユーザーにアプリを介してストリーミングすることもできます開いているアプリを含むユーザーの全視野をキャプチャする際にユーザーのプライバシー保護のためこの機能はフィードを受信するための Broadcast Upload Extensionと ReplayKitを介したvisionOSの内蔵ブロードキャスト機能を使用しますつまりスクリーンキャプチャや共有を開始するたびにユーザーはシステムのボタンを使用する必要があります例えば現場の技術者がオフィスの専門家に電話をかける場合などにこの機能が役立ちます現場の作業員はパススルーカメラとその上のvisionOSのウィンドウを含む実際の視界を共有できますその後オフィスにいる専門家とハンズフリーで連携しその場の状況に応じたフィードバックを受けることができますそれでは実装方法を見ていきましょう Main Camera APIと同様に「include-passthrough」エンタイトルメントファイルを設定しスクリーンキャプチャを行う際パススルーカメラと一緒に空間ビューにアクセスできるようにしますそれだけですこのエンタイトルメントを持つアプリからシステムのスクリーンキャプチャを行うと通常の黒い背景がパススルーカメラのビューに自動的に置き換えられこのビューを共有する機能がキャプチャで有効になりますとてもシンプルですワンステップで変更できるのが素晴らしいですねこのAPIをアプリで使用するとリモートでデバッグしたり別の場所にいる作業者同士で専門的なアドバイスを提供し合う機能をユーザーに提供できますこれにより知識のある個人が様々な場面でサポートできる範囲が拡大します数か月前自分ではんだ付けを学ぼうとしていたときにこの機能があればよかったのですが！最後は空間バーコードとQRコードのスキャンです Vision ProがバーコードとQRコードを自動的に検出して解析するようになりました検出されたコードに基づいて独自のアプリ機能を実現できます QRコードやバーコードが検出されるとアプリは検出されたコードの種類ユーザーに関する空間的な位置そのコードのペイロードの内容に関する情報を受け取りますこれには無数の潜在的な使用例があります QRコードとバーコードの用途が無数にあるのと同様です
例えば倉庫で使用する場合リクエストされたアイテムを探し出す作業者がパッケージのバーコードを見るだけでそれが目的のアイテムであることを確認できます手作業での識別に頼ったりアイテムの持ち運びや移動が不便なスキャナを持ち歩いたりする必要がなくなりますこのAPIでは「barcode-detection.allow」エンタイトルメントを使用しますではアプリでバーコード検出をセットアップする方法を見ていきましょう
まず ARKitSessionをセットアップしてバーコードを検出するために必要な .worldSensing許可が有効になっていることを確認します
次に新しくvisionOSに導入された BarcodeDetectionProvider変数を有効にします HandDetectionProviderをセットアップする既存の機能と同様にこれがバーコードの検出と追跡の基礎になりますこの場合これら3つのシンボロジーを渡すことで Code-39バーコード QRコード UPC-Eタイプのバーコードを検出しますドキュメントには Vision Pro Enterprise APIでサポートされるすべてのシンボロジーがリストアップされています
次にこの BarcodeDetectionProviderに接続されたARKitSessionを開始しますそしてそのプロバイダからの更新を待ち受け取ったらそれを処理します
このAPIは新しいコードが検出されると「added」イベントを送信します例えばコードをハイライトすることができますコードの位置が移動した場合は「updated」イベントを使用して UIの更新やコードの追跡を行いコードが見えなくなった場合は「removed」イベントを使用して UIをクリーンアップしますそれだけです空間バーコード自動検出これらがアプリで利用可能になります物流やエラーチェック部品の選別あるいは特定の時点でユーザーにコンテキストデータを提供するなど様々な用途がありますそれではこれらの新しいAPIを使用して以前は不可能だった体験をどのように実現できるかを示す一例のデモを簡単にご紹介します私は最近ある電子部品を組み立てようとして失敗しサポートセンターの友人 Naveenの助けが必要になりました私はここで近日中にプレゼンテーションで使用する電子部品を組み立てようとしています残念ながら行き詰まってしまいました幸い「SupportCenter」エンタープライズアプリがありますこのような時リアルタイムでサポートを受けることができるアプリです Support Centerアプリを開きサポート担当者に接続してライブでサポートを受けることができます本社の友人 Naveenが担当のようです彼なら助けてくれるはずです Naveenは私の作業状況を確認するためカメラを有効にして共有するように求めますをクリックするとメインカメラフィードを Naveenと共有することができますこちらにプレビューが表示され私が見ている映像を確認してそれをNaveenに送ります
一目では簡単に判別できないキットのようなのでキットの説明書を見たいと Naveenは言います箱にコードがありそれをスキャンすると該当するキットの説明書が自動的に表示さますアプリでをクリックし箱を持って側面のコードを見ると説明書がアプリに表示されました
説明書が見つかったことを Naveenに伝えると画面全体を共有するよう求められますこれでNaveenは説明書と私の視界を同時に確認でき私と同じものを見ている状態になりますこれを行うにはをクリックしメニューでアプリの名前を選んでをクリックしますこれでNaveenは私の視界全体を見ることができますでは彼が見ているものを確認してみましょうこちらがNaveenの視界です Support Centerエージェントビューで私の視界全体が共有されているのがわかります彼は私のキットを確認し説明書と比較しながら最後の手順が完了していないことを教えてくれましたキットを完成させるにはピン45にワイヤーを接続する必要があるようです
作業に戻りピン45にワイヤーを接続するとビンゴ！ステータスライトが緑色に点灯しキットが完成しました Naveenが挨拶をし私はアプリを終了しますサポートのおかげで重要な会議の準備が整いました一安心ですもちろんこのデモは使用例を簡単に示すために新しい機能を特定の方法で 1つのアプリにまとめたものです実際には必要な機能はこれらのうち 1つか2つだけかもしれませんし使用方法がまったく異なるかもしれませんこれらの機能は柔軟かつパワフルに設計されているため様々な業界のエンタープライズ環境に対応できますでは次のカテゴリに進みましょう強化されたプラットフォームコントロールですまず最初にデバイスに搭載されている Apple Neural Engineへのアクセスを Vision Proに提供しますこれにより CPUとGPUだけでなく Apple Neural Engineを介してオンデバイスで機械学習タスクを実行できるようになりますその結果 Vision Proの既存の CoreML機能が強化されます Apple Neural Engineへのアクセスを必要とするモデルやそれによって強化されるモデルを実行できるようになります
例えば先にお伝えしたメインカメラアクセス機能の実装時に Vision Proが欠陥のある製品を識別するような場合はお客様は異常検出のための自社のカスタム機械学習モデルを実装できますこのモデルはApple Neural Engineを必要とする機能を持っておりデバイス上で完全に機能することによりローカルですべてを検出することができます
Appleシリコンは Appleのすべての機械学習プラットフォームを支え各モデルはCPU GPU Apple Neural Engine上で実行されますこのエンタイトルメントがない場合 visionOSのモデルはVision Proの CPUとGPU上で実行されますこのエンタイトルメントがある場合アプリはApple Neural Engineを演算デバイスとして利用しパワフルな機械学習機能を有効にしてモデルを実行できます
実装されると CoreMLはデバイスでの現在のリソース使用量利用可能な演算デバイスモデルの特定のニーズなど様々な要因に基づいてモデルを最も効率的に実行する処理ユニットを動的に決定しモデルの計算をそこで実行します Apple Neural Engineをモデルで利用できるようにする方法を見ていきましょう非常に簡単なプロセスで実装できます他のすべてのAPIと同様エンタイトルメントとライセンスをセットアップする必要があります Apple Neural Engineの場合は「neural-engine-access」エンタイトルメントが必要ですこのエンタイトルメントがあれば Neural Engineを使用してモデルを実行できます Apple Neural Engineにアクセスできることをコードで確認するには例えばこのスニペットのように MLModelクラスのプロパティである「availableComputeDevices」を確認しその結果に基づいてアクションを実行しますこれらはAPIの一部ではなくアプリが使用する可能性のある例示的なメソッド呼び出しです次に適切であればモデルを呼び出したときシステムがNeural Engineを利用してそのモデルを実行します Neural Engineを利用できない場合やその利用が効率的でない場合 CoreMLはGPUまたはCPUにフォールバックして演算を実行しますこの動的意思決定システムによりこのエンタイトルメントを持つアプリで実行される任意の機械学習モデルは可能な限り効率的かつ自動的に実行されますすごいですね次にパラメータ調整による既知のオブジェクトトラッキング機能の強化について説明します既知のオブジェクトトラッキングは visionOS 2.0の新機能ですアプリは特定の参照オブジェクトをプロジェクトに組み込みそれを表示エリア内で検出して追跡できます Appleはエンタープライズのお客様向けにこの新機能を強化しそのユースケースに最適なオブジェクトトラッキングを調整および最適化できるよう構成可能なパラメータを提供していますこれには一度にトラッキングできるオブジェクトの最大数の変更が含まれますまた静的オブジェクトおよびユーザーの視界内を移動する動的オブジェクトのトラッキングレートの変更や Vision Proの視界内における既知のオブジェクトの新しいインスタンスの検出率の変更も含まれます
ただしこのAPIには同じベースライン演算能力がありますそのため状況によってはユースケースに適したパラメータを1～2個増やしてその効果を最大限に高めたい場合他のパラメータを減らして演算要件のバランスを調整しシステムの健全性を維持しつつアプリに必要な機能を提供する必要があります
これは多様なツールや部品をトラッキングして使用する必要がある複雑な修理環境向けに構築されたアプリで使用できるでしょう技術者は機械の部品を交換するためのガイド付き手順に従うことができるようになりますまた多数の関連オブジェクトに関する蓄積された知識よって強化され修理中に必要な部品をその場でハイライト表示することもできますではどのように実装するのでしょうかとてもシンプルですこのAPIのエンタイトルメントは「object-tracking-parameter -adjustment.allow」ですオブジェクトトラッキングコードのセットアップに必要になります
まず TrackingConfigurationをセットアップします次にその構成変数で新しいターゲット値を設定しますここではトラッキングオブジェクトの最大数をデフォルトの10から15に増やしています
毎回これらの値をすべて設定する必要はなく変更する値だけで構いませんここでは選択肢を示すためにすべての値を設定しています次に ObjectTrackingProviderをセットアップしますここでは先ほど設定したカスタムの TrackingConfigurationと共に求めている参照オブジェクトを渡しますこれらの参照オブジェクトはvisionOS 2.0の既知のオブジェクトトラッキングと同様「.referenceObject」ファイルですこれらのファイルを作成するプロセスはこのセッションのリンクドキュメントで見つかります
次にそのObjectTrackingProviderを使用して ARKitSessionを開始するだけですべて完了ですトラッキングされるオブジェクトの最大数も増えました皆さんのユースケースでは一度に多数の異なるオブジェクトをトラッキングする必要があるかもしれませんしデフォルトの検出率よりも詳細にトラッキングする必要があるかもしれませんそこで私たちはこれを顧客のニーズに応じて調整できるよう設計しアプリで最高の体験を生み出せるようにしています最後にパフォーマンスの余裕を増やすためのアプリの演算設定について説明しますここまで説明してきた新しいエンタープライズAPIを使用すればアプリとデバイスを限界まで活用することができますここではさらに一歩進みアプリの演算設定を使用しますこのエンタイトルメントを使用するとエンタープライズのデベロッパは Vision Proデバイスでの演算能力をさらに高め多少の周囲騒音と引き換えにファンの回転速度を少し上げてシステムをスムーズに動作させることができます
どれほど重い作業負荷でもデベロッパは演算能力と冷却管理バッテリー駆動時間ユーザーの快適性のバランスを取る必要がありますデフォルト設定ではVision Proはほとんどのユースケースについてこれら3つが最適なバランスになるように調整されています一方このエンタイトルメントを使用するとエンタープライズの特定のユースケースでそのトレードオフが有効であれば他の2つの領域を少し犠牲にして CPUとGPUの演算能力を高めることができますその結果ユーザーはVision Proのパフォーマンスを最大限に引き出しエンタープライズアプリのあらゆる可能性を追求することができます例えば非常に複雑で高精細な 3Dデザインをスペース内に読み込み歩き回りながら確認する場合アプリ演算設定を有効にするとレンダリングとパフォーマンスが向上しますこの設定を有効にするには「app-compute-category」エンタイトルメントを設定するだけです拡張演算能力を利用できることがシステムで自動的に認識され必要に応じてファンを作動させてデバイスのスムーズな実行が維持されますこの設定はアプリ全体に適用されアプリコードによってオンまたはオフされることはありませんこのエンタイトルメントがある場合システムは作業負荷に応じて CPUとGPUの電力使用量およびファンを自動的に調整しますこの設定はアプリ全体に適用されコードで特定のメソッドを呼び出すことで制御されるわけではありません Vision Proの状態や作業負荷に応じて動的に有効化または無効化されることを覚えておきましょうこの機能には動的な性質があるため似たような状況でも体験は異なる場合があります最後に visionOSでこれらの新しいエンタープライズAPIを実装する際のベストプラクティスについてお話しします常に環境の安全性に配慮し Vision Proを使用するユーザーがデバイスを装着して安全に作業できる場所にいることを確認してください
既存のAPIを調査し特定のユースケースに必要な機能がすでにカバーされていないかを確認してください既存のSDKには素晴らしい体験を構築するための優れた機能がすでに多数含まれていますアプリに必要なエンタイトルメントだけをリクエストしてください Appleはデベロッパがエンタープライズアプリの開発目標を達成するために必要なものを提供しつつユーザーのプライバシーを保護し目的の限定を考慮したいと考えています
そして最後に従業員のプライバシーを守ることですこの追加レベルのアクセス特にメインカメラフィードへの直接アクセスを可能にするAPIは職場や従業員との関係を考慮して利用する必要があります職場の人々のプライバシーを尊重しつつエンタープライズのニーズに必要なものだけを構築するようにしてください visionOS向けエンタープライズAPIの概要は以上です皆さんのニーズを満たす理想的な空間アプリのアイデアとその実装とのギャップを埋める上でこれらの新しいAPIが役立つことを願っていますこれらのAPIは強化されたセンサーアクセスとプラットフォームコントロールの両方にパワフルな新機能をもたらします Appleはこれらを様々な方法で利用できる「ビルディングブロック」として設計しておりエンタープライズのビジネスニーズに応じてカスタムアプリを作成できるようにしていますこれらを利用して今後皆さんが何を作り出すのか楽しみでなりません終了する前に最後のガイダンスをお伝えしたいと思いますまずここで取り上げたAPIのドキュメントをぜひご確認くださいこのセッションの関連リソースにドキュメントへのリンクが記載されていますご自身のニーズに合うAPIをひとつまたは複数選択したらその適格性に必要なユースケースがあることを必ず確認してくださいつまり自社の従業員や顧客の従業員のために設計された社内向けエンタープライズアプリですそれらを確認した上でご希望のAPIに関連する適切なエンタイトルメントを申請してください申請方法や場所に関する情報もこのセッションのリソースに記載されていますこれらの新しいAPIに関するフィードバックや今後のvisionOSバージョンで望まれる機能についてもぜひお聞かせくださいそして最後に今年のセッション「What’s new in device management」をチェックして Apple Vision Proをエンタープライズで管理する最新の手法を学んでください「Introducing enterprise APIs for visionOS」をご視聴いただきありがとうございました

// Main Camera Feed Access Example

let formats = CameraVideoFormat.supportedVideoFormats(for: .main, cameraPositions:[.left])
let cameraFrameProvider = CameraFrameProvider()

var arKitSession = ARKitSession()
var pixelBuffer: CVPixelBuffer?

await arKitSession.queryAuthorization(for: [.cameraAccess])

do {
    try await arKitSession.run([cameraFrameProvider])
} catch {
    return
}

guard let cameraFrameUpdates = 
    cameraFrameProvider.cameraFrameUpdates(for: formats[0]) else {
    return
}

for await cameraFrame in cameraFrameUpdates {
    guard let mainCameraSample = cameraFrame.sample(for: .left) else {
        continue
    }
    self.pixelBuffer = mainCameraSample.pixelBuffer
}

7:47 - Spatial barcode & QR code scanning example

// Spatial barcode & QR code scanning example

await arkitSession.queryAuthorization(for: [.worldSensing])
let barcodeDetection = BarcodeDetectionProvider(symbologies: [.code39, .qr, .upce])

do {
    try await arkitSession.run([barcodeDetection])
} catch {
    return
}

for await anchorUpdate in barcodeDetection.anchorUpdates {
    switch anchorUpdate.event {
        case .added:
           // Call our app method to add a box around a new barcode
           addEntity(for: anchorUpdate.anchor)
        case .updated:
            // Call our app method to move a barcode's box
            updateEntity(for: anchorUpdate.anchor)
       case .removed:
            // Call our app method to remove a barcode's box
            removeEntity(for: anchorUpdate.anchor)
    }
}

13:17 - Apple Neural Engine access example

// Apple Neural Engine access example

let availableComputeDevices = MLModel.availableComputeDevices

for computeDevice in availableComputeDevices {
    switch computeDevice {
        case .cpu: setCpuEnabledForML(true) // Example method name
        case .gpu: setGpuEnabledForML(true) // Example method name
        case .neuralEngine: runMyMLModelWithNeuralEngineAvailable() // Example method name
        default: continue
    }
}

15:39 - Object tracking enhancements example

// Object tracking enhancements example

var trackingParameters = ObjectTrackingProvider.TrackingConfiguration()

// Increasing our maximum items tracked from 10 to 15
trackingParameters.maximumTrackableInstances = 15

// Leaving all our other parameters at their defaults
trackingParameters.maximumInstancesPerReferenceObject = 1
trackingParameters.detectionRate = 2.0
trackingParameters.stationaryObjectTrackingRate = 5.0
trackingParameters.movingObjectTrackingRate = 5.0

let objectTracking = ObjectTrackingProvider(
        referenceObjects: Array(referenceObjectDictionary.values),
        trackingConfiguration: trackingParameters)

var arkitSession = ARKitSession()
arkitSession.run([objectTracking])

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24