Advanced Video Quality Toolによるビデオの評価

♪ (Advanced Video Quality Tool によるビデオの評価) WWDCにようこそ！ 私はPranavです AppleのDisplay and Color Technologiesチームの メンバーです このセッションでは 動画品質ツールと それを使って Appやコンテンツ 作成ワークフローで 圧縮された動画の 評価を行う方法を ご紹介します まずは 一般的な動画配信 ワークフローを見てみましょう こうしたワークフローでは 高品質ソースの動画には 動画圧縮が発生し また任意でより低いビットレートで ビットレートで動画を生成する ダウンスケーリングが行われます また低ビットレートの動画は 帯域幅に制限のある ネットワークで配信 しやすいです こうしたワークフローの 使用例には AVAssetWriterなど AVFoundation APIや CompressorなどのAppが 含まれ また自身の独自の動画圧縮 ワークフローも含まれます ダウンスケーリングと圧縮により 動画のコーディングと アーティファクトのスケーリング が起こりますが これによってソース動画 の損傷や 視覚的アーティファクトが 発生します こうしたアーティファクトの一例が 圧縮動画のフレームや 右側に出てくる ブロックノイズです また動画がぼやけていたり 細かい部分が 消え始めることもあります こうしたアーティファクトは ユーザーの動画品質体験に 悪影響を及ぼします ユーザーは高品質の 動画体験を期待している からです そのためその期待を 満たさなければなりません そのための第一歩が 配信コンテンツの 品質の評価です これを一番正確に行うには 実際に動画を見てもらい 動画品質スケールを評価して もらえれば良いのですが 時間がかかる上に 大容量の動画を 評価したい時には スケーラブルではありません でも別の方法があります ここで必要なのは 動画品質を特性化し スピードやスケーラビリティの プロセスを自動化できるように することです そうした設定があれば 動画知覚品質ツールは 圧縮動画とソース動画を インプットとして取り 動画の品質スコアを 出力できます このスコアは 1から5までの 浮動小数点数になり 実際のユーザーが圧縮動画を どう評価したかを再現します 開発者の皆様に このような動画品質ツールを 提供できてとても 嬉しいです これはAdvanced Video Quality Tool またはAVQTというツールです ではAVQTとは 実際には何でしょうか？ AVQTはmacOSで実行可能な コマンドラインで 実際の人々の圧縮動画 品質評価を 再現しようとするものです フレームレベルや 通常数秒間程度のセグメントで セグメントのレベルスコアを 計算するのに 使うことができます もちろん 全てのAVFoundation型 動画フォーマットもAVQTに 追加されました HDR10 HLG Dolby Visionといった HDR動画フォーマットや SDRなども含まれます 次にアプリケーションを超えて 非常に便利な AVQTの3つのキー属性について お話しします まずAVQTが人間の知覚に どれくらい一致しているか 次にAVQTの計算速度について そして最後に 動画品質の予測に 設定認識を見ることがなぜ重要か についてお話しします まずそれぞれの詳細 についてです AVQTは動画品質に関する 人間の意見と相関があり アニメーションや自然な シーンスポーツなど コンテンツタイプをまたがって 機能します 私たちは従来の動画品質指標 PSNRや構造的類似性 またはSSIMが コンテンツタイプが違うと うまく機能しないと発見しました 1つ例を見てみましょう これは高品質スポーツ動画からの フレームで 1番目のソース動画です 圧縮動画で同じフレームを 見てみましょう フレームの知覚品質は 十分に高いですね PSNRスコアは約35 AVQTスコアは4.4です 次のソース動画デモ 同じように調べてみると このケースの圧縮動画には 視覚的なアーティファクトが あるようです 特に人の顔に アーティファクトが あるように見えます 興味深いことにPSNR 先程と同じ約35ですが AVQTは2.5くらいで 低品質であることが分かります AVQTは正しく得られたと 考えましょう これはクロスコンテンツ評価で 何が失敗したのかを 示すために選んだ 一例にすぎません AVQTの知覚正確さを 色々な動画で テストしたかったのです そこで一般に利用可能な 動画品質データセットを 評価しました こうしたデータセットには ソース動画や 圧縮動画 人間の主観による 動画品質スコアが 含まれます では2つのデータセットで 結果をお見せします Waterloo IVC 4Kと VQEG HD3です Waterloo IVCデータセットには 20件のソース動画と 480件の圧縮動画が 含まれ 両方のコーディングやスケーリング アーティファクトに及びます 4種類の動画階増度と 2種類の動画基準を カバーしています VQEG HD3は比較的 小さくなり ソース動画は9件 圧縮動画は72件です またこれらは 解像度1080pで ビデオコーディングを使って 生成されています また動画品質指標 パフォーマンスを 客観的に測定するため 相関関係と距離の測定を 使用しています Pearsonの相関係数(PCC) では 予測されたスコアが 主観的スコアを どのように相関するか 測定します PCC値が高いと相関関係も より良いことが分かります またRMSEでは予測と 主観スコアの遠さを 測定します RMSE値が低いと予測の 正確さが高くなります さて AVQTが人間の 被験者が与えたスコアを どれだけ正確に測定できるか 見ましょう ここのX軸では 人間が検証した主観的な動画 品質スコアが示されます Y軸はAVQTが予測した スコアです 点は全て圧縮動画を 表します ご覧の通り 散布図からは アウトライナーを除き このデータセットから 主観的スコアを 正確に予測しています これはPCCの高さやRMSEの スコアに反映されています VQEG HD3データセットにも 高パフォーマンスが見られます では AVQTの計算スピードに ついて説明します スケーラビリティの確保には 計算スピードの高さが 非常に大切です AVQTアルゴリズムはMetalで 高速実行するよう設計/最適化 これはつまり容量の大きな 動画ファイルでも 非常に速く動作すると いうことです また全ての処理もネイティブで 行います お客様側では動画のデコードや オフラインでのスケーリングが 不要だということです AVQTにお任せください 注意すべきは 1件の1080p動画を 175フレーム/秒で 処理するということです 10秒で24Hzの 1080p動画なら AVQTは1.5分以内で 品質を計算できます 最後に触れておきたい 属性は view環境の設定認識です view環境の設定は 動画視聴中の動画品質知覚に 影響することがあります 特に ディスプレイの大きさや 解像度や視距離といった 要素は 動画のアーティファクトをマスク したり強調したりします これに対処するため AVQTはこうしたパラメータを インプットとしてツールに渡し こうした要素が変動する中 正しい傾向を 予測しようとします 1つのケースを 見てみましょう ここでは2つのシナリオを 考えます シナリオAでは4K動画を 4Kディスプレイで 画面の高さから1.5倍の 視距離で視聴しています シナリオBでは 動画とディスプレイは同じでも 視距離は画面の高さの 3倍の状態で 視聴しています シナリオBでは 近くで見ていた時に 見えていたアーティファクトが 明らかに見えなくなっています これにより シナリオBで 知覚した動画品質は 動画Aより高いことが 分かります AVQTはこのような傾向を様々な 品質レベルで記録できます この表からは視距離が1.5Hから 3Hに増えるにつれて AVQTスコアも増えていると 分かります 詳細については ツールで公開されている READMEドキュメントを ご覧ください さて AVQTのこれらの 魅力をご紹介したので 次はその正しい使い方 について説明します AVQTは間もなくDeveloper ダウンロードポータルで 利用可能になります デモを見てみましょう 既にツールのダウンロードと システムへのAVQTインストールは 済んでいます 「which AVQT」の出力を 見ると AVQTはusr/loval/bin ディレクトリにあります さて AVQTでサポートされている 様々なフラグの使い方を 詳しく知るため AVQT helpコマンドを 呼び出します 現在のディレクトリに 何があるか見てみると デモに使う参考見本と サンプルの圧縮動画が 入っています ここでAVQTを実行します 参照ファイルとテストファイルを インプットとして出し アウトプットファイルを 指定します アウトプットファイルは sample_output.csvと名付けます ツールによって 進捗が出力され 画面上にセグメントスコアが 報告されます デフォルトのセグメント時間は 6秒で この動画は5秒間なので セグメントは1個しかありません 次にアウトプットファイルを 見てみると ここにフレームレベルスコアが あります 最後にセグメントレベル スコアが 下に向かって一覧表示 されています さて デモでいくつかの オプションを示しましたが ツールには他にも色々な 機能が内蔵されています 例えば セグメント時間と 一時的プーリング を使うことにより フレームレベルスコアの集約方法を 変更することができます 同様に 視距離やディスプレイ 解像度フラグで viewing環境の設定を 指定可能です 詳細はREADMEを ご覧ください では ここまでAVQTの キー属性をいくつか 見てきました またコマンドラインツールを 使って 1組の動画で動画品質スコアを 生成する方法にも触れました 今度はAVQTでHLSの ビットレートを 最適化する特定のケースを 見ていきます HLSのTierは様々なビットレートで エンコードされています またこうしたビットレート の選択は必ずしも 簡単なプロセスではないことも 分かっています これに対処するため HLS Authoring Specificationドキュメントで ビットレートに関する ガイドラインを発表しました こうしたビットレートは HLSで配信される 通常のコンテンツ用の 初期エンコーディングターゲット であるとご留意ください またコンテンツごとに エンコーディングの複雑さも 異なり それにより最適なビットレートが コンテンツ次第で 変わることも 認識しています そのため ある種のコンテンツ 例えばアニメーション動画で うまく機能する ビットレートが スポーツイベントでは うまく合わない場合があります AVQTをフィードバックとして 利用してコンテンツに 最適なビットレートを 決定する方法がこちらです まず 当初のターゲット ビットレートに当たります このビットレートで ソース動画をエンコードし HLSのTierを作成します そしてソース動画と エンコードされたHLSのTierで 動画品質スコアをAVQTで 計算します 最後にAVQTスコアを 分析して そのHLSのTierの ターゲットビットレートを 上げるか下げるかを決めます 実際に例を使って 見てみましょう 特定のHLSのTierを選びます ここでは11.6 MB/秒の 2160pを選択します そして先程の2つの シーケンスである アニメとスポーツ動画をこの推奨 ビットレートでエンコードします Tierのエンコードが完了したら AVQTで動画品質スコアを 計算します これは2つの動画シーケンスの AVQTスコアを表した図です このTierでは動画品質が高くなると 想定されるので しきい値を4.5 つまり最高に近い品質に 設定しています このビットレートは このアニメ動画には 十分ですが スポーツ動画には 不十分です そこで戻って このフィードバックを使い ビットレートターゲットを 調整します 特に スポーツ動画では ビットレートターゲットを上げて AVQTスコアを再計算する 必要があります ビットレートを10%上げることを ここでは狙いましょう これでスポーツ動画の 新しいAVQTスコアができました 更新されたスコアは今度は 予測していたしきい値の4.5を 上回っています アニメコンテンツの 動画品質にもさらに 似た形になっています さて 今回必ず学んでほしい 重要なポイントを まとめます 動画を圧縮すると視覚的 アーティファクトにつながり ユーザーの動画品質体験に 影響を及ぼします そこでAVQTを使い 圧縮された動画の 品質を評価することができます AVQTはmacOSのコマンド ラインツールに含まれ 計算が速く viewing環境設定対応です また AVFoundation型の 全ての動画フォーマットに 対応しています 最後に AVQTによって HLSのTierの動画品質を 最適化できます ご視聴ありがとうございました ♪