空間体験向けの動画コンテンツの配信

♪ ♪ ♪ こんにちは Chrisです AVFoundation Teamのエンジニアです セッションへようこそ このトークでは空間体験向けに ストリーミングコンテンツを作成し 配信する方法をお伝えします まずはHLSとしても知られる HTTP Live Streamingを使用して 2Dメディアを制作 準備 配信するための現在の方法を おさらいします 2Dコンテンツの作成と配信について 説明した後は 3Dの動画コンテンツに移り サポートされるものと先述のステップの 最新情報についてお話しします コンテンツのパイプラインを考慮して 動画 オーディオ キャプションといった メディアエンコーディングから始めます そして これらのメディアリソースを HLS配信用に パッケージングする必要があります 現在 2Dコンテンツは このような形で配信されています 3Dコンテンツ配信のゴールというのは 現在の2Dプロセスの上に 配信プロセスを構築することです HLSには重要な適用を可能にする fragmented MP4 timed metadataの 新しいサポートが追加されました Apple Developer Webサイトの HTTP Live Streamingページでは ドキュメント ツール サンプルのストリーム デベロッパフォーラム その他のリソースへの リンクが記載されています このトークで取り上げられた内容の詳細は こちらで継続的に利用可能になります 私たちの目標は2Dの このプラットフォームへの オーディオビジュアルコンテンツ配信を 他のすべてのものと同様にすることです これはHTTP Live Streaming AVFoundation Core Mediaなどの Apple Mediaテクノロジーや MPEG-4のような ISOベースのメディアファイル形式など 標準ベースのフォーマット上に 構築することで実現できます これはすべて 新しい空間体験パラダイムを サポートしながら実現されます オーディオビジュアルメディアの再生を サポートするための最良の方法については 「すばらしい空間再生体験の構築」を ご確認ください 動画に関しては ソース動画をエンコードします 適切な長さに編集し 重要なビットレートのティアに対し 色補正を行います ここでは構成の方法と 高効率ビデオコーデック 例えば HEVCなど 使用するエンコーダーを選択します 別のAppleプラットホームに配信した 既存の2Dオーディオビジュアルメディアは サポートされていますが これらの再生機能に注意してください このプラットフォームは 最大4Kの解像度の再生をサポートし 最高品質の動画体験を提供できます ディスプレイのリフレッシュレートは 90ヘルツです フレームレートが1秒24コマの動画には 特別な96ヘルツのモードが 自動的に使用される場合があります スタンダードダイナミックレンジと ハイの両方がサポートされています 動画に対応するオーディオは 必要とされる複数の ソースオーディオストリームを 識別して生成します この数は皆さんが目標とする一連の言語と そのオーディオの役割によって異なります 1つの役割は「せりふ」 もう1つは「音声による説明」などです HLSを念頭に置き これらのソースを 配信用にエンコードします 空間オーディオを フォールバックのステレオオーディオ トラックとともに配信すると 空間オーディオをサポートするデバイスの 体験が向上し どこからでも 信頼性のある再生が可能になります HLSのDeveloperページには オーディオ作成に関する ドキュメントのリンクが記載されています そして キャプションがあります ここでは 異なる言語と役割に 対応するために キャプションに字幕と クローズドキャプションが含まれています 「字幕」という用語は 視聴者に提供される異なる言語の翻訳の 転写を意味し 時や場所を確かなものにするために 話されるものではありません クローズドキャプションは 字幕と似ていますが 音声が聞こえない視聴者のためのものです クローズドキャプションは 対話だけでなく音響効果や その他の音声合図も表します 聴覚障害者向けの 字幕 SDHも 同じ役割を果たします 動画やオーディオのエンコードと同じで HLSがサポートする キャプションファイルやフォーマットを 生成してください　最も一般的には WebVTTが使用されています ソース動画 オーディオ キャプションが揃ったら 次はパッケージングです パッケージングとは 信頼性の高い配信を行うために ソースメディアをさまざまな種類の セグメントに変換することです これは先ほどの HLSストリーミングページで 利用可能なAppleのHLSツールで 実行できます 一部のコンテンツプロバイダは 独自の制作ツール ハードウェア ワークフローを使用する場合があります 一部はこれらのサービスや ツールを前者に提供する ベンダーかもしれません パッケージングの目標は 一連のメディアセグメント 使用を促進するメディアプレイリスト それらすべてを結び付ける 多変量のプレイリストを作成することです 現在2種類のHLSメディアセグメントが 最も一般的に使用されています Fragmented MP4メディアセグメントは 動画またはオーディオの すでにエンコードされた 動画ファイルから始め 複数のリソースを生成します これらのリソースがメディアセグメントと 呼ばれるものです これらのセグメントは再生中に クライアントデバイスにより取得されます 字幕ファイルにもセグメントが必要です これには 字幕セグメントツールを使用して メディアセグメントが生成されます ソースWebVTTファイルは 目的とするセグメントの長さに対して WebVTTファイルを任意の数で 分割できます 最後にHLSリソースのコレクションが WebサーバーでHTTP配信用に ホストされます これはクライアントに 直接配信する1つのサーバー またはコンテンツ配信ネットワークを 使用するオリジンサーバー またはCDNとなります どちらにしても これらのリソースが 再生用にクライアントデバイスに 配信されます 2D制作と配信パイプラインについて 復習したところで 次は 3Dコンテンツと 新しい特別な機能を利用した際の 違いを見てみましょう 再びソースのエンコード パッケージングと配信に目を向け 2Dコンテンツと 3Dの立体的なコンテンツの 違いに注目します では 3D動画という 用語を分解してみましょう まず これは動画です つまり動画トラック またはネットワークストリームの 連続したフレームです 「3D動画」の「3D」は 立体という言葉と交互に使われ 左目に 画像を提供し 少し異なる視点からの 非常によく似た別の画像を 右目に提供します 左右の画像の違いは 視差と呼ばれ これにより 動画を見た場合に三次元の奥行が 提供されます 3D動画フレームの伝送方法には いくつかの選択肢がありますが 役に立つ原則がいくつかあります 従来の方法で作成された2D動画トラックは すべてのステレオフレームに 単一の動画トラックを使用して保存されます どの表示時間でも 左右両方の画像またはコマは 単一の圧縮フレームです フレームがある場合は 両方のコマ または ステレオペアがあります 効率的で 理想的にはAppleシリコンが サポートするもの そしてできる限り 非3Dの再生でデコーディングでき 2Dワークフローで 動画を試聴できるべきです ステレオフレームを配信するために 「MV-HEVC」とも呼ばれる マルチビューHEVCの使用を導入しました これは拡張されたHEVCで 「MV」はマルチビューです 各フレームで複数のコマを伝送し 各フレームには 圧縮された左右の画像があります MV-HEVCは基本的にHEVCであるため Appleシリコンによりサポートされます MV-HEVCはベースHEVC 2Dビューを それぞれの圧縮されたフレームで保存します エンコードは左と右の画像の間で デルタまたは差分を判断します この2D Plus Deltaという技術では たとえば左目用に 2Dデコーダがベース2Dビューを 発見して使用します しかし3Dデコーダは もう1つのコマを計算し 両方のコマをそれぞれの目に提供します ベース2Dの画像間の差分が 標準のHEVC技術を 使用するために効率性が実現します 左目と右目のコマの違いのみが ステレオフレームで説明されています 動画フォーマットの説明には またはMPEG-4の ビジュアルサンプルエントリーには コーディングタイプ コーデック 各コマの寸法 動画フレームをデコードするのに 必要なその他の詳細が表示されます 動画フォーマットの説明に新しい拡張子が 導入されました 「Video Extended Usage」ボックスと呼ばれ 軽量で 動画が立体的であることを 発見が簡単なシグナルで示し どちらの目の立体視が 表示されているかを示します HLS配信では これは左右両方となります この新しいVEXUボックスで 説明されている仕様は SDKで利用可能です この構造は進化するでしょうが 仕様で解説される形にします 2Dコンテンツのように 3D動画はHEVCを使用しますが この場合は例外で MV-HEVCが使用されます これは立体視を伝送するために必要です 2D制作のように MV-HEVCのローカルの動画を 使用することができ　他の2D動画と 同じように動作します 左右両方の画像が 対応する目に提示され 奥行のある立体感を作成し 相対深度感を提供します

動画のシーンの物体は 視差量の違いにより 近くにいるように感じたり 遠くにいるように感じたりします 立体的な奥行きの3つのプライマリゾーンを 定義することができます 視差キューがないスクリーン平面 物体がスクリーン平面の前にあると 感じる負の視差 物体がスクリーン平面の 後ろにあると感じる正の視差です キャプションのような要素が 視差なしで 負の視差のキューとして 同じフレームの領域で レンダリングされた場合 奥行に対して競合が発生し 視聴しにくくなります ここで疑問があります 立体視と潜在的な奥行の競合は 3D動画の制作に どれほどの影響を与えるでしょうか 以下をサポートできるでしょうか？ 横方向のキャプションの再生 縦方向のキャプションを含む すべての言語の再生 アクセシビリティの設定が使用され ユーザーが好むキャプションサイズに 調整した場合の再生 答えは「はい」です 次に説明するアプローチを 使用した立体的動画では キャプションはそのまま機能するはずです また 同じ2Dキャプションのアセットを 2Dと3D体験で共有することもできます これは先述の新しい時間指定メタデータを 使用すると実現します 立体的動画では奥行の競合を回避し 視覚要素が動画を オーバーレイすることが重要です 新しいキャプションフォーマットや 既存のフォーマットへの変更を必要とせずに 各動画のフレームの視差を 特徴づける方法を提供します これはフレーム全体で異なり 一部の領域では 視聴者から明らかに近くなったり 遠くなったりします 私たちはこれを視差輪郭と呼んでいます これはメタデータトラックの メタデータとして記録され 動画トラックのフレームと同期されます 3D動画をタイル表示して 各タイルの奥行の視差を 示す場合 これを使用すれば キャプションはステレオ動画の 要素により妨害されることはありません 再生中 キャプションの視差は 奥行の競合を避けるために 自動的に調整されます このような視差動画輪郭の各メタデータは 関連する動画の2Dタイル表示を 各タイルに関連する 視差の最小値で説明します 各動画フレームの提示は 動画フレームの輪郭を説明する メタデータアイテムに 関連している必要があります タイルサイズには 動画の異なる領域の視差を 特徴づけるために 保存と解像をバランスよくする 10x10を推奨します この視差メタデータが 作成される方法を考慮して 各フレームの左右のコマから始めます これは同期された 2つの動画トラックで行うことができ MV-HEVCは必要ありません 次に視差を実行するか 視差分析を行って タイル表示を説明するのに 適切な視差情報を作成します これは次のステップ用に メタデータペイロードに パッケージングされます このメタデータのフォーマットを 説明する仕様は SDKで利用可能です この視差情報はメタデータサンプルに パッケージングされ 時間指定メタデータトラックに 書き込まれます メタデータトラックは それを説明する対応の動画に 関連付けられます メタデータと動画トラックは HLSパッケージが動画と 動画と視差メタデータの両方で 動画セグメントを作成するよう 多重化される必要があります 2D用に作成済みのキャプションを 3Dで再使用することができます これは現在使用するプロセスや 提携するベンダーを 継続して使用し3D制作で 2Dに取り組めるという意味です また これは3Dコンテンツが 横方向や縦方向に関係なく 選択する言語や ユーザーによる アクセシビリティ向けの字幕の 使用に依存しないという意味です 説明付きの視差メタデータを追加することで プラットフォームはみなさんが構築した 視差メタデータに 動的に適応します 3D動画のオーディオの使用に関しては 2D配信と同じオーディオを 使用できます プラットフォームは頭の追跡を行うので 空間オーディオ用のフォーマットの 使用を考慮しましょう 2Dと3Dの体験で 同じオーディオを共有するには 動画のタイミングが一致し 同じ編集である必要があります 異なる場合は2Dと3Dアセット間の オーディオトラックを 分割する必要があります 3Dのパッケージングに関しては 最新のHLSツールは 3Dアセットで詳細な管理を行い 2Dのプロセスとほぼ同一のものにします Appleのツールを使用しない ほとんどのプロダクションシステムは リリースされた新しい仕様を使用して 同等の機能をビルドできます 自身のプレイリストをビルドするか 検査する場合 いくつかの変更にご留意ください REQ-VIDEO-LAYOUTは 動画が立体的であることを示す 動画ストリーミング用の新しいタグです 属性値はビデオが 立体であるかどうかを示します アセットが3Dとして読み込まれた場合 2Dに切り替えたり その反対を 行ったりすることはできません 2D動画は変更されず 同じプレイリストに3D動画を 混ぜることができます REQ-VIDEO-LAYOUTには新バージョンの HLS仕様が必要なため バージョンは12に更新されました これはSDKに記録されています こちらはバージョン12に変更された 多変量のプレイリストの例です 3D動画のストリーミングに REQ-VIDEO-LAYOUTを使用しています 最良のナビゲーション体験を提供するために 2D iFrameストリームを 多変量プレイリストに 追加してサムネイルスクラビングを サポートしましょう 最後に HLS配信は3Dアセットと 同じように機能します 3Dの配信は大部分が 2Dアセットの配信と同じですが 体験を最適化するために できることがいくつかあります ソースアセットの準備をして 3D動画にMV-HEVCを 使用することを書き留め 新しい視差輪郭メタデータを含みます オーディオとキャプションの制作も同じです 更新されたパッケージを使用して 関連のセグメントと プレイリストを作成します ホスティングは変わりません セッションを終える前に 強調しておきたいのは 視覚的な快適性は3D体験に対する 鍵となるデザイン目標であるということです 3Dコンテンツを十分に長い時間 快適に視聴できることが重要です 一部の3Dコンテンツは 負と正の両方を含む 過激な視差など 快適さの問題を 引き起こす場合があります 動きの多いコンテンツは焦点の問題や 奥行の競合を引き起こし 「ウインドウ違反」と呼ばれるものに つながる場合があります 画面サイズは 画面が 視聴者の水平視野に どのくらい入るかによって 視聴の快適性に影響を及ぼします ユーザーは画面を 近くまたは遠くに配置することで 画面サイズに影響を与えることに ご留意ください このセッションでは HTTP Live Streamingを 使用した2Dと3D動画配信について 説明しました 動画にはMV-HEVCをご紹介し オーディオには2Dと3Dにわたって 同じストリームを 使用できることを説明しました キャプションでも2Dと3Dにわたって 同じストリームを使用できます 最後に 3D動画の視差を特徴づけることで 同じキャプションの使用を可能にする 新しい時間指定メタデータの フォーマットについて紹介しました 私たちは可能な限り簡単に 既存の2Dコンテンツを 空間体験にもたらすことを可能にしました 現在の2Dパイプラインに 少しの変更を加えるだけで MV-HEVCを使用して3Dコンテンツを サポートできます 2Dアセットからのすべての 既存のキャプションを 継続して使用することもできます しかし時間指定メタデータを提供すると これらのキャプションは影響を受けず 快適な視聴体験を提供できます 動画の再生の実装に関する 補助的なセッションもご確認ください みなさんが提供するすばらしいコンテンツを 楽しみにしています ご視聴ありがとうございます ♪