VideoToolboxによる低遅延ビデオエンコーディング

VideoToolboxによる低遅延ビデオエンコーディング

低遅延エンコーダーをサポートすることは、ビデオApp開発プロセスの重要な側面となっています。VideoToolboxがどのように低遅延のH.264ハードウェアエンコーディングをサポートし、エンドツーエンドのレイテンシを最小化し、最適なリアルタイムコミュニケーションと高品質のビデオ再生に向けて新たなレベルのパフォーマンスを達成するかを確認します。

リソース
- Video Toolbox
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC21
- AVFoundationの新機能
WWDC20
- AVFoundationを使用したHDR動画の編集と再生
ダウンロード

♪♪ こんにちは Video Coding and the Processingチームの Peikangです「VideoToolboxによる低遅延ビデオエンコーディング」へようこそ
低遅延エンコードは多くのビデオAppにとって非常に重要であり特にリアルタイムのビデオコミュニケーションAppで重要です今回のお話では以下をご紹介します VideoToolboxでの新しいエンコードモードです低遅延でエンコードを実現するためですこの新しいモードの目的はエンコーダーパイプラインをリアルタイムAppのために最適化することですではリアルタイムビデオ Appには何が必要か？
エンドツーエンドの遅延を最小化することが必要です通信手段においてそれでお互いに話し合うことはありませんが
相互運用性を強化する必要がありますビデオAppを可能にすることによってより多くのデバイスと通信することができますエンコーダーパイプラインは効率的でなければなりません通話に複数の受信者がいる場合
Appはビデオを提示する必要がありますその最高の画質で
ネットワーク障害によるエラーから通信を回復するには信頼できるメカニズムが必要です
今日お話しする低遅延でのビデオエンコードはこれらすべての側面で最適化されますこのモードではリアルタイムAppが新しいレベルのパフォーマンスを実現できます
このお話では最初に低遅延でのビデオエンコードの概要について説明しますパイプラインの低遅延化の達成について基本的な考えを持つことができます次にVTCompressionSession APIの使用方法を紹介しますパイプラインを構築し低遅延モードでエンコードします最後に低遅延モードで導入している複数の機能について説明しますまず低遅延ビデオエンコードの概要を説明します Appleのプラットフォームでビデオエンコードのパイプラインの簡単な図です VideoToolboxは入力画像として CVImageBufferを取りますビデオエンコーダーに以下を求めます圧縮アルゴリズムを実行するには H.264など生データのサイズを縮小
出力圧縮データは CMSampleBufferでラップされますネットワークを介してビデオ通信用として送信することができます先程の図からわかるようにエンドツーエンドの遅延が影響を受けることがあります２つの要因によって：それは処理時間とネットワーク送信時間です
処理時間を最小限に抑えるために低遅延モードではフレームの並べ替えが不要になりますワンインワンアウトの符号化パターンに従いますこのモードのレートコントローラはネットワークの変更により速い適応を持っていますネットワークの輻輳による遅延は最小限に抑えられますこの２つの最適化によりすでに確認できますデフォルトモードと比較して明らかにパフォーマンス向上低遅延エンコードで遅延を減らすことができます 720p 30fps の映像では最大100ミリ秒の遅延ですこのような省力はビデオ会議に重要です
遅延を削減することで以下実現することができますより効率的な符号化パイプラインやリアルタイム通信ですビデオ会議やライブ中継のように
また低遅延モードは常に使用します加速されたハードウェアによるビデオエンコード省電力化のために対応しているビデオコーデックタイプに注意してくださいこのモードではH.264ですこの機能はiOSとmacOSの両方に搭載されています
次にVideoToolboxで低遅延モードの使用方法について説明します最初にVTCompressionSessionの使用を要約しますそしてその手順を示します低遅延の符号化を有効にする必要があります VTCompressionSessionを使用する場合まずセッションを作成します VTCompressionSessionCreate APIを使用します
ターゲットビットレートなどオプションでセッションを設定できます VTSessionSetProperty APIを介して設定が提供されていない場合エンコーダーはデフォルトで動作します
セッションが作成され適切に設定されると CVImageBufferをセッションに渡します VTCompressionSessionEncodeFrame を呼び出し符号化された結果を取得できます出力ハンドラーからセッションの作成中に提供されます
低遅延エンコードの有効は圧縮セッションでは簡単です必要な変更はセッションの作成だけです
コードスニペットがその方法を次に示しますまず CFMutableDictionaryが encoderSpecification のために必要です encoderSpecificationはエンコーダーを指定するために使用されますセッションで使用する特定のビデオエンコーダーで encoderSpecificationの EnableLowLatencyRateControl フラグを有効にします
最後にこの encoderSpecificationを VTCompressionSessionCreateに与え圧縮セッションが低遅延モードで動作します
設定手順は通常と同じです例えばターゲットビットレートを設定できます AverageBitRate を使用します
低遅延モードの基本について VideoToolboxで説明しました次は新機能の紹介に移りますこのモードではさらに助けになりますリアルタイムビデオAppを開発します今まで低遅延モードを使用し遅延のメリットについて説明してきました残りのメリットは紹介する機能によって達成できます
最初の機能は新しいプロファイルです相互運用性を強化しましたパイプラインに２つの新しいプロファイルを追加します
時間的な拡張性についてもお話ししますこの機能はビデオ会議で非常に役立ちます
これできめの細かい制御が画質上で可能になります最大フレーム量子化パラメータ付きで最後にエラー耐性を高めます長期参照のサポートを追加します
新しいプロファイルのサポートについて話しますプロファイルはコーディングアルゴリズムを定義しますデコーダーがサポートできます受信側と通信するために符号化されたビットストリームはデコーダーがサポートする特定のプロファイルに準拠する必要があります
VideoToolboxではプロファイルをサポートベースラインメインハイプロファイルなどです
本日２つの新しいプロファイルを追加しました制約のあるベースラインプロファイルのCBPと制約のあるハイプロファイルのCHPです
CBPは主に低コストの Appに使用されます一方 CHPは良い圧縮率のより高度なアルゴリズムがありますデコーダーの機能を確認する必要がありますどのプロファイルを使うべきかを知ってください
CBPを要求するにはプロファイルレベルを設定しセッションプロパティをオートレベルに設定します
同様にプロファイルレベルを設定できますハイオートレベルに移動して CHPを使用します
それでは時間的な拡張性について説明しましょう時間的な拡張性を使用して多人数のビデオ通話で効率を高めることができます
単純な3者間でビデオ会議のシナリオを考えてみましょうこのモデルではレシーバー”A”は 600kbpsの低い帯域幅でレシーバー"B"は 1,000kbpsの高い帯域幅を持っています
送信者は２セットのビットストリームのエンコードが必要各受信機側のダウンリンク帯域幅を満たすためですがこれは最適でない可能性があります
モデルは時間的な拡張性でより効率的になります送信者がエンコードする必要があるのは単一のビットストリームですが２つの層に後で分割できます
このプロセスがどのように機能するかご覧ください
これが一連の符号化されたビデオフレームですここで各フレームは予測参照として前のフレームを使用します
フレームの半分を別のレイヤに引き込みますフレームのみになるように参照を変更できます元のレイヤの予測に使用されます
元のレイヤはベースレイヤと呼ばれ新しく構築されたレイヤは拡張レイヤと呼ばれます
拡張レイヤはフレームレートを向上させるベースレイヤの補助的に使用できます
レシーバー”A”ではベースレイヤフレームを送信ベースレイヤはすでに復号可能だからですそしてさらに重要なのはベースレイヤがフレームの半分しか含まれていないため送信されるデータレートが低くなることです
一方レシーバー"B"は以下を楽しむことができます十分な帯域幅があるためよりスムーズなビデオベースレイヤフレームと拡張レイヤフレームを受信
エンコードされたビデオをお見せしましょう時間的な拡張性を使用します２つのビデオを再生します１つはベースレイヤからでもう一方はベースレイヤと一緒に拡張レイヤ付きです
ベースレイヤ自体は正常に再生できますが同時に映像がなめらかでないことに気付くかもしれません
２番目のビデオを再生すると違いがすぐにわかります右の映像のフレームレートは左のものと比較してフレームレートが高いです右はベースレイヤと拡張レイヤが含まれているためです
左の映像は入力フレームレートの50％でターゲットビットレートの 60％を使用していますこの２つのビデオはエンコーダーのみが必要です一度に１つのビットストリームをエンコードしますこれにより電力効率が大幅に向上します多人数でビデオ会議を行っているとき
時間的な拡張性のもう１つの利点はエラー耐性ですご覧のとおり拡張レイヤのフレームは予測には使用されませんよってこれらのフレームへの依存はありません
これはもし１つ以上の拡張レイヤフレームがネットワーク送信中にドロップされても他のフレームは影響を受けませんこれによりセッション全体がより強固になります
時間的な拡張性を有効にする方法は非常に簡単です新しいセッションプロパティを作成しました BaseLayerFrameRateFraction と呼ばれる低遅延モードですこのプロパティを0.5に設定します入力フレームの半分はベースレイヤに残りは拡張レイヤへ割り当てられます
レイヤ情報の確認はサンプルバッファアタッチメントからできますベースレイヤフレームは CMSampleAttachmentKey_で IsDependedOnByOthersは trueになりそれ以外はfalseになります
ターゲットビットレートの設定オプションもレイヤごとにありますセッションプロパティの使用を忘れないでくださいターゲットビットレートを設定し平均ビットを構成
ターゲットビットレートを設定後次を設定できます新しいBaseLayerBitRate Fractionプロパティターゲットビットレートのパーセンテージを制御しますベースレイヤに必要です
このプロパティが設定されていない場合デフォルト値の0.6が使用されますベースレイヤのビットレートの割合は 0.6から0.8の範囲を勧めます
最大フレーム量子化パラメータか最大フレームQP に移りましょう
フレームQPは画質とデータレートの調整に使用します
高品質画像を生成するために低フレームQPを使用できますこの場合画像サイズは大きくなります
一方低品質の画像を生成するために高フレームQPを使用できますただサイズは小さくなります
低遅延モードではエンコーダーがフレームQPを調整画像の複雑さなどの要素を使用します入力フレームレートビデオモーション最高の画像品質を生み出すために現在のターゲットビットレートの制約を受けます以下頼ることをお勧めしますフレームQPの調整用のエンコーダーのデフォルトの動作について
しかし場合によってはクライアントがビデオ品質に特定要件があり最大フレームQPを制御しますエンコーダーは使用を許可されています
最大フレームQPを使用すると制限より小さいフレームQPをエンコーダーは常に選択しますそのためクライアントは画質上できめ細かい制御を行うことができます
通常のレート制御について言及する価値があり指定された最大フレームQP でも機能しますエンコーダーが最大フレーム QPキャップに達ししかしビットレートの予算が不足している場合はフレームのドロップを開始ターゲットビットレートを維持するためです
この機能を使用する一例は劣悪なネットワークを介した画面コンテンツビデオを送信することです
フレームレートを犠牲にしトレードオフを行いますシャープな画面コンテンツ画像を送信するためです最大フレームQPを設定するとこの要件を満たせます
インターフェイスを見ると最大フレームQPを渡すことができます新しいセッションプロパティ MaxAllowedFrameQPを使用
最大フレームQPの値に注意してください標準に従って１から51の範囲でなければなりません
最後の機能について話しましょう低遅延モードで開発しましたが長期的な参考になります
長期参照またはLTRを使用できますエラー耐性のためですエンコーダーを示すこの図を見てみましょうパイプラインでの送信側クライアントと受信側クライアントです
ビデオ通信を想定します劣悪なネットワークを経由した場合送信エラーのためフレーム損失が発生する可能性があります
受信側クライアントがフレーム損失を検出するとセッションリセットのためにリフレッシュフレームを要求
エンコーダーが要求を受け取るとリフレッシュ用キーフレームが通常は符号化しますしかしキーフレームは大抵かなり大きいです
キーフレームが大きいと受信者に届くまでに時間がかかりますネットワークの状態はすでに悪いのでフレームが大きいとネットワークの輻輳問題が悪化する可能性があります
では更新用のキーフレームの代わりに予測フレームを使用できますか？答えはイエスですフレーム確認応答がある場合ですどのように機能するかをお見せしましょう
確認応答が必要なフレームを決定する必要がありますこのフレームを長期参照またはLTRと呼びますこれはエンコーダーからの決定です送信側クライアントが LTRフレームを送信すると受信側クライアントから確認応答を要求する必要があります
LTRフレームが正常に受信された場合確認応答を送り返す必要があります
送信者クライアントが確認応答を受け取るとその情報をエンコーダーに渡しエンコーダーはどのLTRフレームが反対側で受け取られたか認識しています
もう一度悪いネットワークの状況を見てみましょう
エンコーダーが更新要求を受け取るとこの時からエンコーダーは承認されたLTRの束を持っていて予測されるフレームを符号化することが可能ですこれらの承認されたLTRの１つから
この符号化されたフレームは LTR-Pと呼ばれます
キーフレームと比較すると通常LTR-Pは符号化されフレームサイズは極小ですそのため送信が簡単ですそれでは LTRのAPIについて説明しましょうフレーム確認応答に注意してくださいアプリケーション層で処理する必要があります RPSIメッセージなどのメカニズムで実行できます RTP制御プロトコルで
ここではエンコーダーと送信側クライアントがどのように通信しているのかにのみ焦点を当てます
低遅延エンコードを有効にすると EnableLTRセッションプロパティを設定してこの機能を有効にできます
LTRフレームが符号化されるとエンコーダーは固有のフレームトークンを通知サンプルの添付ファイル RLTR確認応答トークンです
送信者クライアントはレポートを担当しますエンコーダーへの確認済み LTRフレーム AcknowledgedLTRTokens フレームプロパティを介して複数の確認応答が来る可能性があるため一度に配列を使用する必要がありますフレームトークンを保存する
いつでもフレームの更新をリクエストできます ForceLTRRefresh フレームプロパティを介してエンコーダーがこの要求を受信すると LTR-Pが符号化されます利用可能な承認済みLTR がない場合はエンコーダーはキーフレームを生成します
結構ですこれで低遅延モードの新機能について説明しましたこれらの機能を一緒に使うことについてお話します
例えば時間的な拡張性を使用できますおよび最大フレーム量子化パラメータをグループ画面共有Appで使用できます時間的な拡張性は受信者ごとに出力ビデオを効率的に生成できます最大フレームQPを下げることができます画面コンテンツのUIとテキストをより鮮明にします
通信が劣悪なネットワークを経由する場合回復するにはリフレッシュフレームが必要ですエラーから長期参照を使用できます受信者が制約されたプロファイルを解読できると制約されたベースラインプロファイルで符号化できます制約されたハイプロファイルでも符号化できます
オーケートピックを説明してきました VideoToolboxに低遅延のエンコードモードを導入
VTCompressionSession APIの使用方法について説明しました低遅延モードでビデオを符号化
遅延化のメリットに加えて以下を改善してきました要件に対応するための多くの新機能リアルタイムビデオApp この全ての改善により低遅延モードがビデオAppを素晴らしいものにすることを期待していますご視聴ありがとうございました素晴らしいWWDC2021を [明るい音楽]

CFMutableDictionaryRef encoderSpecification =
            CFDictionaryCreateMutable(kCFAllocatorDefault, 0, NULL, NULL);

CFDictionarySetValue(encoderSpecification,
                     kVTVideoEncoderSpecification_EnableLowLatencyRateControl,
                     kCFBooleanTrue)

VTCompressionSessionRef compressionSession;

OSStatus err = VTCompressionSessionCreate(kCFAllocatorDefault, 
                                          width, 
                                          height,
                                          kCMVideoCodecType_H264, 
                                          encoderSpecification,
                                          NULL, 
                                          NULL, 
                                          outputHandler, 
                                          NULL,
                                          &compressionSession);

7:35 - New profiles

// Request CBP

VTSessionSetProperty(compressionSession, 
                     kVTCompressionPropertyKey_ProfileLevel, 
                     kVTProfileLevel_H264_ConstrainedBaseline_AutoLevel);

// Request CHP

VTSessionSetProperty(compressionSession, 
                     kVTCompressionPropertyKey_ProfileLevel, 
                     kVTProfileLevel_H264_ConstrainedHigh_AutoLevel);

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21

WWDC20