DockKitの新機能

皆さん こんにちは Dhruv Samantです DockKitチームのエンジニアです 本日は DockKitの 素晴らしいアップデートと イノベーションについて紹介します 昨年発表されたDockKitは iPhoneのコンテンツ作成やビデオ通話を 新たなレベルへと引き上げる 画期的なフレームワークです 素晴らしいニュースがあります DockKitに対応した初のスタンドが Apple Storeで 購入できるようになりました DockKitスタンドを設定して 使い始める方法を 簡単に説明します

まず iPhoneをタップして DockKitデバイスとペアリングします

ペアリングカードに ペアリングプロセスを完了するための 具体的な手順が示されます

ペアリングできたら iPhoneをドッキングします

これで完了です DockKitデバイスの準備が整いました

iOSカメラアプリを起動すると ドックが自動的に私を 画面内に収めてくれます

動き回ってもスムーズに 後を追ってくれます

DockKitのトラッキングは FaceTimeでも機能します カメラを使うすべてのアプリが あなたをトラッキングし 画面内に収めてくれます DockKitデバイスと 使いやすいAPIを組み合わせれば ビデオのキャプチャから ビデオ会議 教育 ヘルスケアに至るまで 自分に合った特別な体験を 生み出すことができます これらのデバイスを使うことで ユーザーは画面内に収まっているかどうかを 心配することなく 内容に集中できます 今年 DockKitにエキサイティングな アップデートがあります インテリジェントサブジェクトトラッキングです インテリジェントトラッキングは 機械学習を使用して DockKitのトラッキング機能を強化します このセッションでは インテリジェントトラッキングの概要 仕組み アプリでの活用方法について説明します 次に ボタンコントロールに焦点を移し 新しいカテゴリの DockKitアクセサリを紹介します その後 DockKit機能に対応する 新しいカメラモードを紹介し 最後に DockKitアクセサリの バッテリーを監視する 簡単な方法について説明します では始めましょう

インテリジェントサブジェクトトラッキング とは何でしょうか？ インテリジェントサブジェクトトラッキングは ビデオのシーン内の誰にフォーカスするのか という長年の問題に対処することを 目指しています 被写体同士が互いにやり取りしたり カメラに向かって話したりしている一方で 他の人々が背景にいる状況を 想像してみてください 最も重要な人物を特定し カメラで追ってフォーカスを維持するのは 極めて難しいでしょう 例えば この単純なシーンでは 撮影者はおそらく後ろにいる人ではなく その手前の 話をしている被写体2人に フォーカスを合わせようと 考えるでしょう シーンが複雑になるほど これらを判断するために より高度な方法が必要になります。 そこで役立つのが インテリジェントサブジェクトトラッキングです

インテリジェントサブジェクトトラッキングは 高度なアルゴリズムと 機械学習を使って リアルタイムで シーンを分析します 個々の顔や物といった 主な被写体を識別し 動き 話し方 カメラとの距離など 様々な要素に基づいて 最も重要な被写体を判断して トラッキングします スムーズでシームレスなトラッキングにより 手動で操作することなく コンテンツの作成に集中できます

こうした動作を可能にする 基盤となるアルゴリズムと フレームワークを見てみましょう

iOS 17の複数人トラッカーでは iPhoneの画像インテリジェンスによって シーン内の複数の被写体の動きを 推定していました それをベースに開発したのが iOS 18向けのまったく新しい インテリジェントトラッキングパイプラインです このパイプラインは 複数人トラッカーのデータを取得し 高度な被写体選択機械学習モデルを通じて 処理します

このモデルでは 体の姿勢 顔の向き 注意力 発話の確信度など 様々な属性を分析し そのシーンでピントを合わせるべき 最適な被写体が判断されます

そして 被写体フレーミングモジュールで 選択した被写体を入力として取得し 高度なアルゴリズムを使って 視覚的に最も魅力的なフレーミングが 判断されます

最終的な計算結果が得られたら 運動位置や速度に関する フィードバックを使って 最終的なアクチュエータコマンドを取得し DockKitアクセサリに送信します

インテリジェントトラッキングシステムは 様々な状況に非常にうまく対処できますが 人間の写真家の専門技術の素晴らしさを 尊重しています そのため すべてのDockKitデバイスに Watch Controlを導入しました

これにより ユーザーがiOSカメラアプリで トラッキングやフレーミングを より正確に制御できるようになります DockKitアクセサリを手動で制御し 撮影動画をさらに調整することも可能です

説明するだけでななく 実際に使って見てみましょう

このDockKitスタンドとiPhoneでは 新しい インテリジェントトラッキングパイプラインが 動作しています

私しか映っていないので 簡単にトラッキングの判断ができます

そこで私の友人のSteveにも 一緒に参加してもらいます よろしく Steve

インテリジェントトラッキングの 対象者として Steveも選択され 2人がトラッキングされるようになります Apple Watchで Steveの顔をタップすると DockKitはSteveだけを トラッキングします

Steve あちらに数歩 歩いてみてください

このようにDockKitは Steveだけをトラッキングします

Steveは大切な友人ですが ここで選択を解除して デモを続けたいと思います これを行うには Watch上でスワイプして DockKitアクセサリを手動で操作し 私の顔をタップして再び私を トラッキングするようにします

こうした素晴らしい変更が DockKit システムトラッキングに加えられました 皆さんのアプリにコードを 追加する必要はありません しかし 皆さんがさらに詳細に コントロールできるよう アプリで機械学習シグナルに アクセスできるようになります これにより 皆さんは ユーザーに愛される革新的でユニークな 機能を作成することができます

DockKitインテリジェントトラッキングを アプリで使用している場合 トラッキング対象の被写体の 重要な属性を示す概要を確認できます

トラッキングの概要は トラッキング状態の 非同期シーケンスで問い合わせます トラッキング状態には 状態の取得日時と トラッキング対象の被写体の一覧が 含まれます トラッキング対象の被写体は 人物または物のいずれかです

トラッキング対象の被写体の情報には 識別子 顔矩形 顕著性ランキングが含まれます 対象が人物である場合は 発話の確信度と カメラ注視の確信度も含まれます

顕著性ランキングは シーン内で 最も重要な被写体かどうかの 評価を表します ランキングは1から始まり 単調増加していきます 数値が小さいほど 特定の被写体に対する 重要度が高いことを示します 例えば ランキング1は ランキング2よりも顕著です

発話の確信度は 発話している人物かどうかの 可能性のスコアを示します 確信度スコアが0である場合は その人物は発話しておらす 確信度スコアが1である場合 その人物が発話していることを示します 同様に カメラ注視の確信度も カメラを注視している人物かどうかの 可能性のスコアを示します

では アプリで これらのパラメータを使って トラッキング機能を カスタマイズする方法を説明します

例えば 発言者を常にトラッキングする アプリを作成しているとします まず 非同期シーケンスとして トラッキング状態を問い合わせ 変数trackingStateに保存します DockKitから最新情報が提供されるたびに この変数が更新されるようにします 発言者をトラッキングする関数では まず トラッキング対象として 人物である全被写体の一覧を取得し

発話の確信度が80%を超える 人物をすべて取得するように 絞り込みます

その後 この一覧を selectSubjects APIに渡すことで DockKitは シーン内のすべての発言者を トラッキングするようになります

これは機械学習シグナルを活用して ユーザーにとって最も重要な要素を判断し 革新的でユニークな機能を 簡単に設計できる 素晴らしい機能です

以上が インテリジェントトラッキングを アプリで活用するメリットです

また DockKitアクセサリの ボタンサポートも追加します ボタンの動作が ファーストパーティとサードパーティの アプリでどうなるか見ていきましょう カメラとFaceTimeでは DockKitで 最初から3種類の アクセサリイベントがサポートされます シャッター 切り替え 拡大縮小です シャッターイベントでは すばやく 写真やビデオを撮影できます 切り替えイベントでは フロントカメラとバックカメラを シームレスに切り替えられます 拡大縮小イベントでは シーンを拡大縮小できます これらのイベントは アプリにも配信されるため カスタム動作を実装して ユーザー体験を向上できます カメラのシャッターイベントと 切り替えイベントは 値が関連付けられていない トグルイベントです 拡大縮小イベントには相対倍率があります 例えば 値2.0を指定すると 画像のサイズが2倍になり 視野が半分になります 倍率は自由に変更できます カスタムのボタンイベントも アクセサリで送信できます 例えば ボタンを識別するためのIDや ボタンが押されたかどうかを示すブール値です

この機能によって ユーザーに喜ばれるカスタム動作を 設計できる高い柔軟性が得られます さらに これをベースとして ボタンサポートを大いに活用できる DockKitアクセサリの新しいクラスである ジンバルを導入します

ジンバルは 動きの多いスポーツや 写真撮影に変革をもたらします アスリートをロックオンできるため 手動でパンしたり傾けたりする必要が なくなります

DockKitの新しいジンバルは カメラの動きを安定させるのに役立ち プロが撮影したような 滑らかなビデオを作成できます ジンバルを実際に使ってみましょう

ここにDockKitジンバルがあります

私のiPhoneとペアリング済みです iPhoneをドックに置くだけで 魔法のようにジンバルに接続できます

この状態でカメラアプリを開くと ジンバルが私をトラッキングしてくれます

このジンバルによって 新しい使い方が可能になります 手に持った状態でのトラッキングです

ジンバルの切り替えボタンを押すと バックカメラに切り替わり 部屋の中を映すことができます

誰がいるでしょうか Steveがまだここにいてくれました 録画ボタンを押すと ビデオの録画を開始できます スクロールホイールを使うと Steveを拡大できます

ジンバルを使えば DockKitで 動的な手持ち撮影が可能になります 新しいボタンを使うことで このような体験が可能になります アプリでボタンコントロールを 活用する方法を見ていきましょう

例えば パノラマ写真を撮る カメラアプリを記述するとします DockKitジンバルには カスタムボタンID 5があるため このボタンを活用して パノラマ撮影のためのジンバルの回転を 開始および終了したいとします パノラマ撮影の回転を開始する関数と 停止する関数の2つを記述します

次に アクセサリイベントを サブスクライブします ユーザーがドックでボタン5の イベントをトリガすると イベントがアプリに通知されます

ボタン5が押されると DockKitアクセサリの回転が 一定の速度で開始されます ボタンがもう一度押されると 回転が止まります わずか数行のコードで DockKitアクセサリの 見事なカメラ動作を 設計できました インテリジェントな被写体トラッキングと リモートコントロールを活用して iOS 18では DockKitのサポートが iOSカメラアプリ向けに拡張され 写真 パノラマ シネマティックといった 新しいカメラモードに対応できます カメラアプリの写真モードで 被写体をトラッキングできるようになります Apple Watchや DockKitジンバルを使って 被写体や風景を撮影できます

パノラマモードでは ボタンを1回押すだけで 美しいパノラマ写真を撮影し 物や環境を広範囲に渡って 自律的に撮影できます

シネマティックモードでは 映画のように人物をトラッキングできます

iOS 18では アプリ内で DockKitアクセサリのバッテリーを 監視できる機能も 追加しています このデータを活用して カスタム動作を実装し 関連する状態メッセージを ユーザーに表示できます これを行うには バッテリー状態の 非同期シーケンスにサブスクライブします ドックで複数のバッテリーの 充電状態を報告できます バッテリーは名前で識別され 現在のバッテリー残量と 充電状態が報告されます 例えば 電源に接続されているドックの場合 バッテリー残量50% 充電状態は充電中 のように報告されます

AIの写真家のように機能する インテリジェントトラッキングは シーン内の被写体を自律的に選択して トラッキングできます

Apple Watchを使って手動で コントロールすることも APIを使って動作を 記述することもできます 動きの速いスポーツの写真撮影向けに DockKitジンバルも導入しました

これらの新しいAPIとアクセサリにより DockKitの活用の幅が さらに広がることを期待しています DockKitは膨大な イノベーションの可能性を秘めています これからどうなるか楽しみでなりません