AVFoundationの新機能

オーディオビジュアルプレゼンテーションを検査、再生、作成するためのAppleのフレームワークであるAVFoundationの最新のアップデート内容を紹介します。AVFoundationを使用して、オーディオビジュアルアセットの属性を照会したり、時間指定のメタデータでカスタムビデオコンポジションをさらにカスタマイズしたり、キャプションファイルをオーサリングしたりする方法を検証します。

リソース

関連ビデオ

WWDC22

よりレスポンシブなメディアAppの実現

WWDC21

ダウンロード

♪ (AVFoundationの新機能)

こんにちはアダムです今日はAVFoundationの 3つの新機能についてご紹介します特にAVAssetの検証で新しくなった部分について時間をかけて説明しその後その他2つの新機能であるメタデータを使ったビデオコンポジットやキャプションファイルのオーサリングに簡潔に触れますでは単刀直入に最初のトピックに入りましょう AVAssetの非同期検証ですしかしまずは AVAssetをおさらいして背景をつかみましょう AVAssetとはAVFoundationのコアモデルオブジェクトでユーザーのデバイスに保存された動画ファイルやリモートサーバーなど別の場所に保存された動画ファイル HTTP Live Streams など他のフォーマットのオーディオビジュアルコンテンツの表示に使われますアセットがあると視聴したくなるのはもちろんのこと検証したくなることもありますよね動画の長さやオーディオや動画に含まれるフォーマットは何かなど質問をぶつけたくなりますそしてそれこそがこのトピックのテーマつまりアセットの検証ですそしてアセットの検証をいつ行うにせよ 2つの注意点がありますまずアセットの検証はオンデマンドで発生します動画ファイルは容量が膨大になるのが主な理由です長編映画なら数GBに及ぶこともあります後で動画の長さを尋ねる場合を考慮するとアセットにファイル全部をダウンロードさせたくはないものですその代わりアセットはプロパティ値の読み込みが命令されるまで待ってからその値を与えるために必要な情報だけをダウンロードしますもう1つ注意したいのはアセットの検証は非同期プロセスだという点ですネットワークI/Oには時間がかかるのでこれはとても重要ですアセットがネットワークに保存される場合 AVAssetが同期ネットワークリクエストを出す間 Appのメインスレッドはブロックしたくないですが AVAssetは非同期で準備が整い次第結果を送信してくれますこの2つを念頭に入れてアセットプロパティ検証用の新APIを見てみるとこんな感じになっています主に気づくのはこの新しいLoadメソッドでこれはどのプロパティ値を読み込むか伝えるためプロパティ識別子ここでは .durationを取り込みます各プロパティ識別子はコンパイル時の結果型に関連付けられていますこれによりLoadメソッドの戻り型が決まりますこのケースでは動画の長さはCMTimeなので結果はCMTimeです awaitキーワードは見たことがないかもしれませんこれはSwiftの新機能で呼び出し場所で Loadメソッドが非同期であるとマークするのに使われます async/awaitや Swiftのより幅広い並行性への取り組みについて詳しくは「Swiftのasync/awaitについて」というセッションをチェックしてみてください今のところは新しいプロパティプロパティローディングメソッド関数の使い方を手っ取り早く理解するため awaitキーワードを呼び出し機能を 2つに分けるものとして考えてみようと思いますまず非同期処理が開始される前に起こる部分がありますここではアセットの作成と動画の長さの読み込み依頼ですこの時点ではアセットは早速動画の長さの決定に必要なI/Oと構文解析を行い私たちはその結果を待機しますその間その呼び出し関数は一時停止されます awaitの後に書かれたコードがすぐ実行されないということですしかし実行中のスレッドはブロックされておらず待機中でもより多くの仕事をこなせます動画の長さの非同期読み込みが完了するともう半分の関数の実行がスケジュールされますここでは動画の長さが正常に読み込まれた場合それをローカル定数に保管し別の関数に送りますまたは処理が失敗した場合その呼び出し関数が再開され次第エラーが投げられますこれが非同期でプロパティ値を読み込む際の基本ですまた複数のプロパティの値を同時に読み込むこともできます Loadメソッドに 1つ以上のプロパティ識別子を渡すだけですこのケースでは動画の長さとトラックを同時に読み込んでいますこれは便利なだけでなく効率的でもあります興味のある全プロパティをアセットが知っている場合その容量の読み込みに必要な作業をバッチしてくれます複数のプロパティ値読み込みの結果はプロパティ識別子と同じ順番の読み込まれた値でタプルになります 1つのプロパティ値の読み込みと同様型安全ですこのケースではタプルの結果の最初の要素はCMTimeで 2番目の要素はAVAssetTracksの配列ですまたもちろん1つの値で読み込むのと同じくこれは非同期処理です非同期でプロパティ値を読み込むのに加えプロパティのステータスを新しいstatus(of: )メソッドで値の読み込みを待つことなくいつでもチェックすることもできます Loadメソッドで使ったのと同じプロパティ識別子を渡すと enumを4つの考えられるケースと共に返します各プロパティは.notYetLoaded から始まりますアセットの検証はオンデマンドで発生するのでプロパティ値の読み込みを指示するまではアセットは全く読み込みをしないと覚えておいてください読み込みの進行中にステータスをチェックすると .loading caseが得られますまたはプロパティが既に読み込まれていると読み込まれた値と一緒に.loadedケースを取得します最後にネットワークの障害などで失敗が発生すると何が失敗したのかを示すエラーと一緒に .failed caseを取得しますこれは読み込みリクエストの失敗を引き起こしたloadメソッドの呼び出しに投げられたのと同じエラーですこれが非同期プロパティ読み込みとステータスチェックのための新しいAPIです AVAssetには値を非同期で読み込める沢山のプロパティがありますこれらのほとんどは自身を内包する値ですが .tracksと.metadata プロパティはアセットの階層構造を下るのに使えるより複雑なオブジェクトとなります .tracksプロパティのこのケースでは AVAssetTrakcsの配列が取得されます AVAssetTracksは同じloadメソッドで値を非同期に読み込み可能な独自のプロパティ群を持ちます同様に.metadata プロパティも AVMetadataItem 配列と AVMetadataItemのプロパティをいくつか与えますこれもloadメソッドで非同期で読み込めますこのようなAPIの最後のパートはあるプロパティ値の特定のサブセット取得に使える非同期メソッドのコレクションです従って例えば全トラックを読み込む代わりに最初の3つのメソッドを使ってオーディオトラックのみなどを読み込めます AVAssetと AVAssetTrack にもこうした新しいメソッドがありますここまでがアセットを非同期で検証するために用意した新APIの全てですしかしここで1つお伝えしなければなりません実はこの機能は全て新しくはないのです APIは新しいですがこれらのクラスは常に非同期でプロパティ値を読み込むことはできました単に古いAPIではこんな風にコードを書かなければならなかったというだけです従来は3段階のプロセスでしたまずloadValuesAsynchronously メソッドを呼び出してどのプロパティを読み込むか伝える文字列を与えます次に各プロパティが正常に読み込んだか確認しなければなりませんでしたそしてそこまで済んだら対応する同期プロパティをクエリするか同期フィルタリングメソッドをどれか呼び出しやっと読み込まれた値をフェッチできていましたこれは冗長で繰り返しが多いだけでなく誤用しやすいです例えばこうした基本的な読み込みやステータスチェックステップを忘れやすくなりますこれら非同期プロパティといつでも呼び出せるメソッドは手元に残りますが最初にプロパティ値を読み込まずに呼び出すと I/Oがブロックされてしまいますメインスレッドでやったら Appが予測しないタイミングで止まってしまいますよって新しいAPIはただより使いやすいというだけでなくこうしたよくある誤用を排除できるので今後のリリースでは Swiftクライアントのこの古いAPIを非推奨にする予定ですこうしたインターフェイスの新し非同期バージョンに移行しそのサポートのため私たちは簡潔な移行ガイドをご用意しました値の読み込みやステータスチェック同期プロパティの取得というスリーポイントシュートをめがけているなら loadメソッドの呼び出しを全て1つの非同期なステップで行えます同様にこの3ステッププロセスを行いつつも同期フィルタリングメソッドをプロパティの代わりに使っても 1ステップでフィルタリングメソッドの非同期版の等価なものを呼び出せるようになりました古いstatusOfValue(forKey: ) メソッドでプロパティのステータスを切り替え中で .loaded caseにいると認識している時に同期プロパティ値を取得中なら新しいステータスenumの .loadedケースにその.loaded値がついてくるという事実を活用できますコードの一部でプロパティの値を読み込んで読み込んだ値をコードの別の部分にフェッチするなど Appで何か興味深い動きがある場合それはこの新インターフェイスでできます loadメソッドを再び呼ぶだけでよいでしょうこれが最も簡単で安全なやり方でまたプロパティが既に読み込まれている場合完了した作業が重複することはありません代わりにキャッシュした値を返すだけですしかし1つ注意点があります loadメソッドは非同期メソッドなので非同期コンテキストからのみ呼び出し可能ということですそのため本当にプロパティの値を純粋な非同期コンテキストから取得したい場合プロパティのステータスを取得して読み込み済みと表明することでプロパティの値を同期で取得することが可能ですそれでもまだ注意が必要です既に読み込み済みであってもプロパティが失敗することはあり得るからです最後に結果が出るまでブロックするということで読み込みとステータスチェックを飛ばし現在のプロパティの動作とメソッドのみを使う場合これについては代替を用意していませんこれは今までもAPIのおすすめの使い方とは言えず推奨もしていません新しいプロパティ読み込みAPIは単純なプロパティフェッチ並みに使いやすくなるように設計したので新APIへの移行はストレートであるべきです 1番目のトピックはここまでです Swiftの新しい非同期機能でアセット検証の新方法を紹介できてとても嬉しいです私と同じように楽しんで暮れたらと思いますでは後半の小トピックの 1番目に入りましょうメタデータを使ったビデオコンポジットですここではコンポジットつまり複数のビデオトラックをビデオフレームの1つのストリームに編集する方法について話しますそして特にカスタムのビデオコンポジタ向けに編集を行うコードを提供する強化ツールを用意しました今年からはカスタムコンポジタのフレームコンポジットコールバックで提供されるフレームごとメタデータを取得できるようになりました例えばGPSデータのシーケンスがあるとしますそのデータはタイムスタンプされビデオと同期していてそのGPSデータを使ってフレームのコンポーズに影響を及ぼしたいとしますこれは現在可能でまずGPSデータをソースビデオのタイムドメタデータトラックに書くだけです AVAssetWriteで行うには既存のクラス AVAssetWriter InputMetadataAdaptorをチェックでは新しいAPIを見てみましょうあるトラックのコレクションを持つソースビデオで始めるとします 1つのオーディオトラックと 2つのビデオトラック 3つのタイムドメタデータトラックがあるとしますしかしトラック4と5にはビデオコンポジットに便利なメタデータが含まれますがトラック6は無関係です 2つの行うべきセットアップステップがありますまず新しいソース SampleDataTrackIDsプロパティにビデオコンポジットオブジェクトにビデオコンポジット全体に関連するタイムドメタデータトラックの全てのIDを伝えることです終わったら次はビデオコンポジット指示のそれぞれを受け取って似たように操作しますが今回は requiredSourceSampleDataTrackIDs プロパティを特定の指示に関連するIDに伝えるように設定しますこのセットアップは両方とも行わないとコンポジションコールバックでメタデータを得られなくなりますではコールバックそのものについてです非同期のビデオコンポジットリクエストオブジェクトをコールバックに取得すると 2つの新APIでビデオコンポジット用のメタデータを取得することができます 1つ目はsourceSampleDataTrackIDs プロパティでリクエストに関連するメタデータトラックのトラックIDを再生しますそして各トラックIDには sourceTimedMetadata(byTrackID :) メソッドがありそのトラックの現在のタイムドメタデータグループ取得に使えますさてAVTimedMetadataGroupは文字列や日付その他ハイレベルオブジェクトに構文解析された値と共にハイレベルな表示ですメタデータのRAWバイトを使いたいなら sourceSampleBuffer(byTrackID: ) メソッドで AVTimedMetadataGroup の代わりに CMSampleBufferを得られますメタデータが揃ったらそれをソースビデオフレームで使い出力ビデオフレームを生成してリクエストを終了できますここまでがカスタムのビデオコンポジタコールバックにメタデータを得る方法ですこれでビデオコンポジットでさらに面白いことができます最後のトピックはキャプションファイルオーサリングです macOSでは今年から AVFoundationで2つのファイル形式にサポートを追加しましたまずはiTunes Timed Text または.ittファイルで字幕を含みますもう1つは Scenarist Closed Captions または.sccファイルでクローズドキャプションを含みます AVFoundationではこの2つのファイル形式用オーサリングやこれらのファイルからのキャプション取り込み実行時にキャプションをプレビューし再生時の状態を確認できるサポートを追加中ですオーサリングには 1つのキャプションを表示するモデルオブジェクトの AVCaptionを筆頭にテキストや位置 1つのキャプションの他の属性のもののためのプロパティが入っています AVCaptionを自作し AVAssetWriterInputCaptionAdaptor を使って 2つのファイル形式のいずれかに書くこともできますさらにAVCaptionConversion Validatorクラスに新しい検証サービスも追加しました書いているキャプションが実際に選択したファイル形式と互換性があるか確認するのに使えますこれが重要である一例に .sccファイルがありますこれにはCEA-608 キャプションが含まれ一定の時間内で持てるキャプション数から個々の文字やスタイリングを表示するデータの割当量の固定に至るまで非常に細かい制限のあるフォーマットです検証サービスはキャプションストリームがファイル形式に互換性があるか確認するだけでなくタイムスタイプの調整など互換させるためにキャプションに行える微調整もおすすめしてくれますキャプション取り込み用の新APIには AVAssetReader OutputCaptionAdaptorがありこれらファイルのいずれかを取り出してそれからAVCaptionオブジェクトを読み込めるようにします最後はAVCaptionRenderer クラスで 1つのキャプションやキャプショングループを取ってCGCContext をレンダリングし再生中の状態をプレビューできるようにしてくれますこれは私たちの新しいキャプションファイルオーサリング APIの一部にすぎません導入に興味のある方はフォーラムや conference labでお問い合わせいただければそこでご質問にお答えします最後のトピックが終わったのでまとめます今回の大トピックは AVAssetプロパティの検証それをオンデマンドかつ非同期で行うべき理由この分野の新API 古いAPIからの移行についてのアドバイスでしたその後タイムドメタデータを使ってカスタムビデオコンポジットをさらにカスタマイズする方法も触れました最後にキャプションファイルオーサリングとその新APIについても簡潔に触れました今日はここまでですご視聴ありがとうございました WWDCをお楽しみください ♪

2:16 - AVAsset property loading

func inspectAsset() async throws {
	let asset = AVAsset(url: movieURL)
	let duration = try await asset.load(.duration)
	myFunction(thatUses: duration)
}

4:02 - Load multiple properties

func inspectAsset() async throws {
	let asset = AVAsset(url: movieURL)
	let (duration, tracks) = try await asset.load(.duration, .tracks)
	myFunction(thatUses: duration, and: tracks)
}

4:52 - Check status

switch asset.status(of: .duration) {
case .notYetLoaded:
	// This is the initial state after creating an asset. 
case .loading:
	// This means the asset is actively doing work.
case .loaded(let duration):
	// Use the asset's property value.
case .failed(let error):
	// Handle the error.
}

6:32 - Async filtering methods

let asset: AVAsset
let trk1 = try await asset.loadTrack(withTrackID: 1)
let atrs = try await asset.loadTracks(withMediaType: .audio)
let ltrs = try await asset.loadTracks(withMediaCharacteristic: .legible)
let qtmd = try await asset.loadMetadata(for: .quickTimeMetadata)
let chcl = try await asset.loadChapterMetadataGroups(withTitleLocale: .current)
let chpl = try await asset.loadChapterMetadataGroups(bestMatchingPreferredLanguages: ["en-US"])
let amsg = try await asset.loadMediaSelectionGroup(for: .audible)

let track: AVAssetTrack
let seg0 = try await track.loadSegment(forTrackTime: .zero)
let spts = try await track.loadSamplePresentationTime(forTrackTime: .zero)
let ismd = try await track.loadMetadata(for: .isoUserData)
let fbtr = try await track.loadAssociatedTracks(ofType: .audioFallback)

7:16 - Async loading: Old API

asset.loadValuesAsynchronously(forKeys: ["duration", "tracks"]) {
	var error: NSError?
	guard asset.statusOfValue(forKey: "duration", error: &error) == .loaded else { ... }
	guard asset.statusOfValue(forKey: "tracks", error: &error) == .loaded else { ... }
	let duration = asset.duration
	let audioTracks = asset.tracks(withMediaType: .audio)
	// Use duration and audioTracks.
}

8:09 - This is the equivalent using the new API:

let duration = try await asset.load(.duration)
let audioTracks = try await asset.loadTracks(withMediaType: .audio)
// Use duration and audioTracks.

8:36 - load(_:)

let tracks = try await asset.load(.tracks)

8:51 - Async filtering method

let audioTracks = try await
    asset.loadTracks(withMediaType: .audio)

8:58 - status(of:)

switch status(of: .tracks) {
    case .loaded(let tracks):
    // Use tracks.

9:18 - load(_:) again (returns cached value)
```
let tracks = try await asset.load(.tracks)
```

9:49 - Assert status is .loaded()

guard case .loaded (let tracks)
    = asset.status(of: .tracks) else { ... }

11:49 - Custom video composition with metadata: Setup

/*
 Source movie:
 - Track 1: Audio
 - Track 2: Video
 - Track 3: Video
 - Track 4: Metadata
 - Track 5: Metadata
 - Track 6: Metadata
 */

// Tell AVMutableVideoComposition about all the metadata tracks.
videoComposition.sourceSampleDataTrackIDs = [4, 5]

// For each AVMutableVideoCompositionInstruction, specify the metadata track ID(s) to include.
instruction1.requiredSourceSampleDataTrackIDs = [4]
instruction2.requiredSourceSampleDataTrackIDs = [4, 5]

12:44 - Custom video composition with metadata: Compositing

// This is an implementation of a AVVideoCompositing method:
func startRequest(_ request: AVAsynchronousVideoCompositionRequest) {
	for trackID in request.sourceSampleDataTrackIDs {
		let metadata: AVTimedMetadataGroup? = request.sourceTimedMetadata(byTrackID: trackID)
		// To get CMSampleBuffers instead, use sourceSampleBuffer(byTrackID:).

	}

	// Compose input video frames, using metadata, here.

	request.finish(withComposedVideoFrame: composedFrame)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。