空間オーディオによるAppへの没入

空間オーディオによるAppへの没入

Appやウェブ上のメディアで映画館のような体験を提供するために、空間オーディオがどのように役立つかを紹介します。互換性のあるハードウェアを使用しているユーザに、没入感のあるオーディオを簡単に提供する方法や、ユーザの帯域や接続状況に応じて異なるリスニング体験を自動的に提供する方法を解説します。また、Appでの体験をカスタマイズしたり、空間オーディオを使って新しいエキサイティングな方法でストーリを伝えるお勧めの方法についても紹介します。

リソース
- Core Audio
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
- AirPodsによるアプリケーションのオーディオ体験の向上
WWDC21
- AVFoundationにおけるHLSバリアント
- AVFoundationの新機能
ダウンロード

♪ (空間オーディオによるAppへの没入) こんにちはこのセッションでは空間オーディオで没入感のあるAppを作成する方法を紹介します AppleのStreaming Mediaチームの Simonです映画館にいるような体験をユーザーに提供してサービスを差別化することを検討していますか？マルチポイントのオーディオソースをレンダリングして臨場感のあるオーディオを提供したいですか？これらをポケットの中の便利なモバイルデバイスから実現できたらいいですねこのセッションでは空間オーディオを Core AVFoundation playback API とWebKitを使って提供する方法を探っていきます充実したアジェンダをご用意しましたよく知られている既存の技術と対比させながら空間オーディオとは何かを一緒に考えてみましょう続けてこの機能が提供する技術や処理法を列挙します後半では APIをご紹介するとともに適用されるさまざまな処理法をご紹介します次は過去のリリースにおける空間オーディオのサポートレベルを確認し適切な機能を選択できるようにしますまた 2021年秋の OSリリースでの新機能を明らかにしますそして最後にはデモで締めくくりますそれを皆さんにお伝えしたいと思っていますどうぞお楽しみください空間オーディオとは何かを理解するためにまず古典的なステレオについて考えてみましょうヘッドホンにしても昔のステレオスピーカーにしても私たちが感じる音の広がりは限られています後ろからの音も真正面からの音も上からの音も聞こえません現実世界を反映する位置関係が再現されていませんまたヘッドホンの場合は耳の中や頭にかぶせた小さなスピーカーから音が出ます私たちはこれを頭の中の体験と呼んでいます映画を見ながら自然に頭を動かすと小さなスピーカーも一緒に動きますこれは劇場のような体験ではありませんがここで空間オーディオが役に立つのです空間オーディオで劇場のような体験ができるのですこれは音響心理学的な技術で魅力的な仮想の音場を作り出す効果がありますマルチチャンネルコンテンツとの相性は抜群ですがステレオコンテンツにも魅力的な体験を提供します最後にオーディオビジュアルおよびオーディオのみのメディアソースには空間オーディオが対応しますそして何よりもユーザーがすでに持っているさまざまなApple製品に対応していますデベロッパが空間オーディオの体験を容易に提供できるようにしました先ほど述べたように Appでオーディオを楽しむにはマルチチャンネルが近道ですマルチチャンネルオーディオのオルタネートを参照するHLS のバリアントを提供することでユーザーの環境に最も適応できるものです実際コンテンツライブラリにマルチチャンネルのオーディオソースメディアが既にあるかもしれませんこれを公開するだけで Appで空間オーディオをデフォルトで有効にできますソフトウェアの変更は一切必要ありません 2021年秋のリリースでは通常のメディアファイルや WebKitのMSEに含まれるマルチチャンネルオーディオトラックも後で述べるように限定的にサポートされますでは作成できるようになったメディア体験についてご紹介します空間オーディオで再現できる体験はたくさんありますコンサートに参加しているかのように私たちを包み込むような音楽を届けることができますフルモーションのビデオゲームを作ることができインタラクティブなシーンでユーザーを没入させる冒険をすることができますしかしこの技術はどのように機能するのでしょうか空間オーディオを使用すると仮想音場は静的になります先ほどのステレオのように頭の動きに合わせて音場が動くことはありませんその結果私たちが劇場で期待するのと同じ効果と感覚を得ることができましたこの効果は多くの製品に搭載されている内蔵スピーカーだけでなく一部のヘッドフォン製品でも実現しています空間認識機能付きヘッドホンの場合再生デバイスの慣性計測ユニットの計測値とヘッドホンの同様の計測値を比較してユーザーの頭部の姿勢を判断しますこれはオーディオレンダリングを動的に変更して静的な音場効果を維持するために使用されますその結果カメラやリスナーの周りの本来の配置から音声が発せられているような感覚が得られ頭の外にいるような体験ができます旋回中のバスや離発着中の飛行機でも使えますまたステレオソースをアップミックスして5.1チャンネルを再現する技術も提供しています既存のステレオコンテンツのライブラリに加えて空間オーディオを提供しますサポートされているヘッドフォンについては 2021年秋のリリースではこれがデフォルトのステレオ処理ですまたこの処理を暗黙のうちに行うことで空間音声の採用や提供をより魅力的なものにします今現在マルチチャンネル音声を配信することでメディアの映像品質が損なわれることを心配される方もいるでしょうマルチチャンネルオーディオは現在提供されているステレオの AACレンディションよりもはるかに高ビットレートですネットワークの帯域が限られている中でこの2つを両立させるにはどうすればいいのでしょうかこれは本当に困ったことですこの問題を解決するためにユーザーの帯域に合わせて空間的なオーディオ体験を実現しました帯域が不足して高品質な映像を提供できない場合音声はシームレスに劣化しアップミックスされたステレオ音声になりますが空間処理は変わりません移行前に提供されていたヘッドトラッキングは維持されますその後帯域が確実に回復するとフルマルチチャンネルの空間処理が復活しますこのようなアダプティブ空間オーディオ体験ではステレオとマルチチャンネルの間で音量レベルを正規化することがこれまで以上に重要になりますさらに Dynamic Range Control (DRC)や dialnormのメタデータを適宜メディアエンコーディングに付与してください developer.apple.comで公開されている HLS Authoring Specification に詳細が記載されていますここでは空間オーディオ体験をカスタマイズするためのインターフェイスについてご紹介します AVPlayerItemや今回の AVSampleBufferAudioRenderer などを介して Appのデフォルトのオーディオ体験をカスタマイズできます 4つのAVAudioSpatializationFormats うちいずれかを指定しますこれはモノラルやステレオやマルチチャンネルそして後者２つの組み合わせの空間化を可能にするものでモノラルやステレオやマルチチャンネルのソースオーディオフォーマットに対応していますゼロを指定するとオーディオ空間化を禁止することができますなお Appleプラットフォームではコントロールセンターや Bluetoothの設定によりオーディオルートに応じてユーザーがさらにカスタマイズできるようシステムレベルの制御を提供していますこの4つの値のうち1つを AVPlayerItem または 2021年秋のリリースの AVSampleBufferAudioRendererの allowedAudioSpatialization Formatsプロパティを設定しますではどうすればAVFoundation API でオーディオルートが空間音声をサポートしていることを確認できるのでしょうかどうしたらAVSampleBuffer AudioRendererインスタンスにマルチチャンネルオーディオを配信すべきかがわかるでしょうか 2021年秋のリリースでは AVAudioSessionPortDescriptionでこれを示すプロパティを導入しますさらにAVAudioSessionではマルチチャンネルオーディオを Appが提供できることをシステムにアピールするための仕組みを導入していますこの表示はユーザーがコントロールセンターや Bluetoothの環境設定で空間オーディオ処理を有効にしていない場合に表示されますなお AppがAVPlayerを使用している場合はこれらの表示が管理されます isSpatialAudioEnabled プロパティはポートが空間オーディオレンダリング可であることとユーザーがそれを許可していることを示しますルート変更の通知を見てイベントごとに isSpatialAudioEnabledを確認することをお勧めします同様に AVAudioSessionはユーザーがコントロールセンターや Bluetoothの設定で空間設定を変更した際 spatialPlaybackCapabilities ChangedNotificationを発行しますこの通知には利便性を考慮して空間オーディオの有効化の状態に関する情報が含まれています AVAudioSession SpatialAudioEnabledKeyを使って通知に関する状態を取得します最後にあなたのソフトウェアやサービスがマルチチャネルコンテンツを提供できることをシステムに示すためにインテントを含めた関数 setSupportsMultichannelContent を呼び出しますこれはネットワークの条件が許し必要な処理が有効化されていれば空間オーディオが可能であることをユーザーに伝えるために使用されますここで過去3年にわたるリリースでの機能サポートを調査してみましょう macOS Catalinaや iOSやiPad OS 13では AVPlayerItemと WebKitのvideoタグで httpスキームを持つ任意の URLを指定することで内蔵スピーカーから空間オーディオが提供されます 2018年以降のモデルの MacBookおよびiPhone iPad Proの製品ラインを持つユーザーが対象となりますデフォルトでは利用可能な場合マルチチャンネルオーディオレンディションを選択して空間化が提供されます macOS Big Sur iOS iPad OS 14ではヘッドトラック対応のヘッドホンAirPods Pro およびAirPods Maxのサポートを導入しましたこれらのアクセサリによる空間化機能は 2016年以降のiPhone/iPadと連携したデバイスに提供されますここでもデフォルトでは利用可能な場合マルチチャンネルオーディオレンディションを選択して空間化が提供されますこれにより新たにmacOS Montereyや iOS iPadOSさらにtvOS 15 でのサポートが実現しましたここで AVPlayerItemと AVSampleBufferAudioRenderer によるサポートとW3C Media Source Extensionsへの限定的なWebKitサポートを提供します MSEパスには空間化体験を調整するためのインターフェイスはありませんただし Media Capabilities API セット内の AudioConfiguration辞書を介して空間オーディオサポートの有無を検出するインターフェイスは存在しますこれらのリリースでは利用可能で条件が許す限りモノラルやステレオマルチチャンネルのすべてのソースに対してデフォルトでオーディオ空間化を提供しますすべてのAVSampleBuffer AudioRenderer の使用を含むオーディオのみのプレゼンテーションではデフォルトでマルチチャンネルオーディオレンディションのみが処理を提供します空間オーディオとは何かとその使い方がわかったところで今日は特別な情報をお届けします今回はソフトウェアやサービスに空間オーディオを使用することでクリエイティブにストーリーを伝える新しい方法をご紹介します聴いてみましょう ♪
困ったなもう一度やってみましょううーんちょっとクパティーノ問題が発生してるよ画面外の声：今回はどうしたの？ Simon：わかったよ何？ささやき声：ごめんサイモン Simon：だめなの？画面外の声：だめそう… Simon：本当に？画面外の声：うん Simon: もういいよわかったわかった私たちは空間オーディオのクールな実演のためにとても素晴らしいデモを作ったのですがどうやら今日はこれがうまくいかないようですああ何とかならないかな映像をお見せすることはできませんができるとしたら説明してみましょうか皆さんが今どこにいるかわかりませんが目を閉じて WWDCの会場にいると想像してみてください会場でどんな音がするかわかりますよね？どんな感じですか心に思い描いてくださいステージと大きなスクリーンを描くのですこれから照明を落として映像を流すところですちょっとごめん明かりを落としてサンフランシスコの上空高くにいます湾岸から高層ビルを伝ってヒューヒューと音がしています周りには風が吹き荒れており街から半島を抜けて Apple Parkまでズームアップしましょう Parkに向かって飛んでいくとすごい髪型のアヒルが見えます速度を落としてと叫んでいますがこれが実にクールな左から右へのドップラー効果をもたらします速度を落として！そして今私たちはリンゴの果樹園の中を飛んでいます木々の揺らぎを感じましょう穏やかな時間を過ごすために池にたどり着きますささやき声：空間オーディオには興味ないわ Simon：そして私たちは再び動き出しました鳥たちの間を縫うようにして Caffè Macsの大きなガラスのドアにたどり着き滑らかなテラゾの床を滑るようにして女性を見つけました彼女はテーブルの上にiPad を置いてピザを食べながらとても緊張感のある映画に夢中になっています夕暮れの早い時間帯にジャングルが広がります
いや本当にオーディオは私たちをシーンに引き込んでくれますねささやき声：彼はこのデモをうまく表現してるねまるでその場にいるかのようですとても鮮やかです
すると遠くで猿の声が聞こえますしかし突然不気味になりすべての現実世界が静かになります聞こえるのは葉っぱのざわめきだけそして… 木が倒れる音何かがやってくるとても大きい！ドンドンドン私たちの胸の鼓動が聞こえますそして静寂これで安心…かと思ったら
目の前の木の間から恐竜が飛び出してきましたそして私たちは上を見上げ恐竜がの開いた口の中に真っ直ぐに入っていくのです
PA：42のラップですね振り返るとそこは映画の撮影現場でした男性：照明がイマイチだ Simon：恐竜の動きが止まりセットを片付けるための一団が現れました女性：ケリーのために頑張って無線の声：俳優たちに20点女性：メイクアップしながら打ち上げを見るよ通信を切断していますあなたも来る？ 2人を追ってトレーラーに向かい今日の宇宙飛行の打ち上げをもちろんサラウンド音声で配信します息をのむ観客をかき分けてテレビの方へと向かいます女性：発射準備オーケー男性：全チェック完了いよいよカプセルの中へ
ペダルを踏み込みましょうロケットが点火されました女性：レッツゴーー月への特急便次の停車駅はトランクウィリティ男性：オーライブースター分離 3.. 2.. 1.. クリーンで滑らかロケットの第2ステージを一緒に追っていると.. ロケットが地球に戻ってきますどんどんスピードを上げていきます大気圏を抜けて地上に戻ってきます何かに向けて大きな飛行機ですだんだん大きくなります
PA：皆さんおはようございます機長からご連絡です
今日の最終目的地に向けて降下していきます
Simon：美しい..
楽しかったですねでは今日のまとめですユーザーに空間オーディオ体験を提供することがいかに簡単であるかを学びました実際空間オーディオを利用するために Appに手を加える必要はないかもしれません HLSのバリアントプレイリストにマルチチャンネルオーディオを提供するだけですむ場合もありますなおステレオとマルチチャンネルレンディションの音量レベルを正規化し DRCのメタデータを含めることが重要です最後に過去3年間にリリースされたOSの中でいかにして幅広いユーザー層に空間オーディオを提供できるかを見てきました関連セッションでは HLSリソースにマルチチャンネルオーディオが搭載されているかを確認する方法を紹介しています AVFoundationで HLSバリアントを検証する際にこれを確認できます今日は私のチームと一緒にこのセッションを楽しんでいただけたでしょうかぜひ空間オーディオとあなたのAppにどっぷり没入して残りのWWDC 2021を楽しんでくださいありがとうございました ♪

public struct AVAudioSpatializationFormats : OptionSet {

    public init(rawValue: UInt)

    
    public static var monoAndStereo: AVAudioSpatializationFormats { get }

    public static var multichannel: AVAudioSpatializationFormats { get }

    public static var monoStereoAndMultichannel: AVAudioSpatializationFormats { get }
}

7:21 - AVPlayerItem and AVSampleBufferAudioRenderer

@available(macOS 11.0, *)
var allowedAudioSpatializationFormats: Int32

8:21 - Spatial audio availability

@available(iOS 6.0, *)
class AVAudioSessionPortDescription : NSObject {

  @available(iOS 15.0, *)
  var isSpatialAudioEnabled: Bool { get }

 }

8:35 - Spatial audio availability

extension AVAudioSession {
  @available(iOS 15.0, *)
  class let spatialPlaybackCapabilitiesChangedNotification: NSNotification.Name
}

@available(iOS 15.0, *)
let AVAudioSessionSpatialAudioEnabledKey: String

9:01 - Control center integration

extension AVAudioSession {
  @available(iOS 15.0, *)
  func setSupportsMultichannelContent(_ inValue: Bool) throws
  @available(iOS 15.0, *)
  var supportsMultichannelContent: Bool { get }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23

WWDC21