RoomPlanにおける機能強化の詳細

RoomPlanにおける機能強化の詳細

RoomPlanのエキサイティングなアップデートをご確認ください。より詳細にエリアをスキャンし、複数の部屋をキャプチャし、個々のスキャンを1つの大きな構造物にマージする方法について解説します。また、RoomPlanの結果を既存の3Dモデルライブラリに統合する際のワークフローやベストプラクティスについても紹介します。

リソース
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
- 空間コンピューティングのためのQuick Look
WWDC22
- RoomPlanによるパラメトリックな3Dルームスキャンの作成
ダウンロード

♪ ♪
Alex: こんにちは Video Enginnering TeamのAlexです今日は同僚のAntoineと私が RoomPlanの新機能を紹介します RoomPlanはARKitを利用した高度な機械学習アルゴリズムで壁窓ドア開口部やその他の部屋を定義するオブジェクトを検出します AppleのRoomCaptureView APIを使用するとスキャン体験をアプリに直接統合できますスキャンが終わるとアプリは出来上がった3Dモデルを提示し USDZファイルにエクスポートできますこのセッションでは RoomPlanの新機能についてお話ししますカスタムのARSessionを使って RoomPlanとARKitを組み合わせる新しい方法についても説明します続いてマルチルームの対応についてです新しいMultiRoom APIにより個々のルームスキャンを 1つの大きな構造に統合することができます次にRoomCaptureViewの新しい VoiceOverサポートを紹介します RoomPlan表現の改善と新しいワークフローを可能にするエクスポート機能の強化についてもお話しします
まずはカスタムのARSessionのサポートから始めていきます
前述したようにRoomPlanは ARKitからの情報を頼りにしておりスキャン中に壁　窓　ドア　開口部その他のオブジェクトを検出してますこのためRoomCaptureSessionはデフォルトのARSessionで動作してます iOS 17の新機能としてRoomPlanは ARWorldTrackingConfigurationでカスタムのARSessionを使用できますこれにより同じワークフロー内で RoomPlanとARKitを組み合わせる新しい方法がいくつか可能になりますいくつかの例を見てみましょうカスタムのARSessionでRoomPlanを使用する1つの方法はRoomPlanの結果を ARKitのシーンジオメトリと平面検出と組み合わせることでバーチャルコンテンツと現実世界のジオメトリの間のインタラクションをよりイマーシブなものにすることですさらにARKitの高画質画像キャプチャを利用して空間の写真表現を収集し RoomPlanでよりリッチな物件を作成することもできますまた既存のAR体験の一部として RoomPlanを使用している場合は既存のARAnchorを中断することなく RoomPlanの結果を組み合わせることができますこれらはカスタムのARSessionが提供できる使用ケースのほんの一部ですカスタムのARSession をどうRoomPlan に渡すかいくつかのコードを見てみましょう以前のRoomPlanのinitとstop関数ですカスタムのARSessionをinit関数に渡す方法は以下の通りです ARWorldTrackingConfigurationを持つ任意のカスタムのARSessionは RoomCaptureSession内で優先されますまたstop関数には基礎となるARSessionを一時停止するかを決定する新しいオプションが追加されました RoomCaptureSessionが停止した後も ARSessionを継続させたい場合はブール値をfalseに設定します次のセクションでは ARSessionを使用することで複数のスキャンを1つの大きな構造に統合するような新しいワークフローがどのように可能になるかを見ていきますマルチルームのサポートに注目しましょうマルチルームサポートとはなんでしょうか？以前のRoomPlanでは 1回のスキャンで1つの部屋の 3Dモデルを得ることができました例えばダイニングルーム　キッチンリビングルーム廊下　寝室など家の中の様々な部屋をスキャンしたとしますそれらを統合したい場合いくつかの難題に直面することになります第一にこれらはすべて独自の座標系にありワールド座標の原点と方向が部屋ごとに異なります第二に手作業でつなぎ合わせても壁が重複しオブジェクトも重複する可能性があります
座標系の違いに取り組んでみましょうここで目指したいのはすべてのスキャンを同じ座標系で撮影することですここでは複数の部屋をスキャンするため 2つのアプローチを提案しますはじめに連続したARSessionを使用します次にARSessionのリローカリゼーションを使用します連続したARSessionを使う方法を見てみましょう以前のRoomPlanではRoomCaptureSessionが停止すると ARSessionは一時停止していました各スキャンは異なる座標系を持っています新しいAPIではstop関数に新しい引数が追加され一時停止をfalseに設定できるようになりましたこれによりARSessionは次のスキャンでもその次のスキャンでも最終的にARSessionを一時停止するまで実行し続けることができます
この方法を使えば複数のスキャンで同じARSessionを確実に実行できますこれにより共通のワールド座標系を持つことができますこれがどのように機能するかコードで見てみましょう RoomCaptureSession を連続したARSessionで実行する例です最初のスキャンを RoomCaptureSession.runで開始しましたここからが肝心な部分です RoomCaptureSession.stopの新しいAPIでは pauseARSessionをfalseに設定する必要がありますこれによりARSessionは次のスキャンまで実行し続けますその後同じroomCaptureSessionインスタンスを 2回目のスキャンに使用しますそして2回目のスキャンを止めます結果として1回目と2回目のスキャン結果を同じ座標系で得ることができました同じ座標空間内で個々の部屋のスキャンを行うもう一つの方法は ARSessionのリローカリゼーションを使用することですこの方法は翌日や翌週に同じ場所に戻ってくるなど個々の部屋をスキャンする場合に最適ですこの仕組みを見てみましょう繰り返しますがこれは1つの部屋の 3Dモデルを得るための1回のスキャンです RoomCaptureSessionを停止し ARSessionを一時停止するので今後のスキャンでリローカライズが機能するためには ARWorldMapをディスクに保存する必要があります ARSessionが一時停止しているときに前回のスキャンを続行したい場合は一時停止しているARSessionから ARWorldMapをロードしてスキャンを再開できます
このARWorldMapを使えば前回のスキャンの環境に対してリローカライズを行い一連のスキャンがすべて共通の座標系を共有するようにできますリローカリゼーションを使用したスキャンワークフローのサンプルコードを見てみましょうまず1回目のスキャンを実行しますそしてARSessionを一時停止して最初のスキャンを停止しますリローカリゼーションを行うには ARSessionが一時停止したときに ARWorldMapを保存する必要があります
2回目のスキャンを実行する前に前のARWorldMapを復元する必要がありますまずARWorldMapを読み込みますそして読み込んだARWorldMapを ARWorldTrackingConfiguration .initialWorldMapに指定します ARSessionを実行しますリローカリゼーションが完了すると前のARSessionが読み込まれます現在のワールド座標を前のワールド座標に合わせて前のワールド座標に合わせますそれから2回目のスキャンを実行しましょう最後に2回目のスキャンを中止します以上の手順で1回目と2回目のスキャン結果は同じ 3Dワールド座標になります同じ3D座標系で複数のスキャンをリンクさせる 2つのアプローチを見てきました次に新しいMultiRoom APIを使用してそれらを1つの結合された構造にマージする方法を見ていきます各スキャンに対してRoomBuilder APIを実行し個々のCapturedRoomを生成することができます先に示したように連続的なARSessionと ARSessionのリローカリゼーションではすべてのCapturedRoomは同じ3Dワールド空間にありますこれは3つのキャプチャルームを持つ RoomBuilderからの出力です今我々は新しいマージAPIである StructureBuilderを提供しすべてを1つの大きな構造体である CapturedStructureに統合します StructureBuilder APIのサンプルコードを見てみましょうここではStructureBuilder APIを使用して複数のスキャンを統合する方法を説明しますまず設定オプションを持つ StructureBuilder インスタンスを作成します次に先程スキャンした複数の CapturedRoomを読み込む配列を作成しますその後StructureBuilder APIを呼び出して統合結果である capturedStructureを取得して最後に capturedStructureを USDZファイルにエクスポートしますこれが CapturedStructureの定義ですまず部屋という特性があります CapturedRoom インスタンスの配列ですそして統合された壁　ドア　窓開口部オブジェクトのプロパティがあります最後にUSDZファイルにエクスポートする機能があります
それでは実際にMultiRoomを使用してみましょう StructureBuilder APIを使用して複数のスキャンを統合しUSDZファイルにエクスポートできるサンプルアプリを提供しています USDZファイルはiOSとmacOSの両方でプレビューできます USDZファイルをBlenderのようなデジタルコンテンツ作成ツールに読み込むことでさらに一歩進めることができます
3Dモデルに美化処理を施したらさらに見栄えがよくなりました
最後にMultiRoom対応で最高の MultiRoom体験を得るための注意点について説明していきましょう MultiRoomは1～4つのベッドルームリビングルーム　キッチンダイニングルームを備えた一般的な平屋住宅に最適です個々の部屋をスキャンして統合する場合最大総面積は2,000平方フィート（約186平方メートル）をお勧めします RoomPlanがクリアなビデオストリームと良好なARトラッキング性能でスキャンできるように 50ルクス以上の良好な照明があることが推奨されますさてここでAntoineがiOS 17での RoomPlanのさらなる強化について教えてくれます Antoine： Alex　ありがとうアクセシビリティをピックアップして話していきましょうレンダリングといえばビジュアルモダリティを思い浮かべる人が多いでしょうが弱視者にとってこのモダリティはあまり意味がありません今年RoomPlanはVoiceOverが有効な場合に音声フィードバックを追加し携帯電話がスキャンに関するガイドラインを提供し見たものを説明できるようにしました音声：デバイスを開始位置に移動します。カメラを壁の下の端に向けます暖炉　壁窓 Antoine: それではRoomPlanが部屋から収集できる新しい情報とそれがどのようにレンダリングされるかについて説明しましょう RoomPlanなら様々な部屋をスキャンすることができますしかしこれまでは限られた部屋の状況を正確に表現するには限界がありました RoomPlanは斜めの壁や曲線の壁だけでなく食器洗い機　オーブン　シンクなどに対応できるようになりました埋め込み式のキッチン要素も含むさらに多様な部屋に対応するようになりました RoomPlanはまた与えられたカテゴリのオブジェクトの構成を検出するように改良されました例えば一人掛けからL字型シンプルな四角いソファまでRoomPlanが新バージョンで検出するソファの種類が多くなりました RoomPlanを紹介したとき RoomPlanがスキャンできる2つの要素サーフェスとオブジェクトについて話しました今私たちは部屋の中のエリアを表現するための新しい要素を追加していてそれをセクションと呼んでいます壁はポリゴンとして記述できるようになり斜めの壁や梁のある壁など一様でない壁を扱えるようになりましたこれまでは湾曲した壁や窓はデータのみのAPIに含まれていましたこれでRoomCaptureViewの結果は湾曲した壁もレンダリングできるようになり表面のカテゴリに加え床のカテゴリも多角形として表現できますオブジェクトに属性が追加されカテゴリ内のさまざまな構成をより適切に表現できるようになりましたサーフェスとオブジェクトに新しい親変数を持つようになりましたこの識別子には親の識別子が含まれます例えば窓の親は壁であり椅子の親はテーブルであり食器洗い機の親は収納庫であるようにこれらの改善点について例を挙げて詳しく説明しましょう各セクションではみなさんの部屋や家の様々なエリアについて説明していますセクションにはリビングルームベッドルームバスルーム　キッチンダイニングルームのラベルがありますそれは所定の位置で所定の階にあります
一様でない壁はpolygonCorner 変数を使ってポリゴンとしてレンダリングできますフロアはスキャン中は矩形として表現されスキャン終了時には多角形として美化されます食器洗い機　オーブン　洗面台の親がレンダリングで彫られるようになりました RoomPlanを導入したときオブジェクトを記述するためにカテゴリが使用されましたしかしこの表現には限界があります椅子を例にとってみましょう例えばスツール　ダイニングチェアオフィスチェアなどですどれも目的が違うのですオブジェクトをよりよく表現するために属性を追加することにしましたこの例では属性を使用することでスキャンされた内容をより忠実に理解することができます RoomPlan API では属性は enum の多相配列を通して利用可能ですしかし列挙型は属性を理解する最良の方法ではありません次のセクションではより魅力的な表現にたどり着くための新たな方法を探っていきます属性はスキャン中に取得されたその他の新しい情報とともにエクスポートされた結果に含めることができるようになりました USDZノードからメタデータを検索するファイルとエクスポートされたUSDZをモデルでリッチ化する構造ですルームをメッシュとしてエクスポートする場合サーフェスとオブジェクトのノードのツリーを含むUSDZを作成します今年はセクションセンターを含むセクショングループが加わりましたしかしそうすると壁やオブジェクトの寸法オブジェクトの属性などスキャンから相当量の情報が欠落してしまいます部屋のエクスポート時にマッピングファイルの作成ができるようになりましたこれはUSDZ一意なノード名とその識別子によって一意に識別される CapturedRoom要素との間のブリッジを作成する文字列から UUIDへのエンコードされた辞書です
RoomPlan APIでどのように展開するか見てみましょう RoomPlan の以前のバージョンでは部屋は2つの方法でエクスポートできました USDZ としてエクスポート関数を介して JSON または Plist として CapturedRoom構造体をエンコードします iOS 17の新機能としてエクスポート機能でUSDZに部屋をマッピングするためのメタデータURLを指定すると 2つのエクスポート情報を関連付けることができますこうすることでスキャンした部屋をレンダリングする際にサーフェスやオブジェクトに関する追加情報を照会できます新しいマッピングファイルとともにモデルプロバイダを導入しオブジェクトをこれまでボックスとして表現されていたスキャンされた属性に一致するモデルで置き換えますここで行いたいのはオブジェクトを 3Dモデルに関連付けることでありより具体的にはそのURLに関連付けることですこうすることでオブジェクトを表現していたバウンディングボックスをより説得力のある真実味のあるレンダリングで置き換えることができますそのためにRoomPlanでは新しい構造が用意されていますモデルプロバイダ ModelProviderはカテゴリと属性のセットをモデルURLにマッピングしますカテゴリと属性を持つオブジェクトから ModelProviderに対応するモデルの URLが与えられるようになりますこれを部屋全体に一般化する部屋はカテゴリと属性を持つセクション　サーフェス　オブジェクトの集合体である ModelProviderインスタンスは部屋の各オブジェクトに3Dモデルの URLを関連付けることができますモデルの関連付けを処理する構造ができたのでモデルプロバイダとどのように連携できるかを見てみましょう ModelProviderに入力する方法はいろいろあります例えばデータベースから属性のセットに一致するモデルを取得したり既存のカタログに注釈を付けたりすることができますここでは非常にシンプルな例として独自の小さなアセットカタログを作成する方法を説明しますカタログを4つのステップで作成し使用しますまずRoomPlanがサポートするカテゴリと属性を解析します次に各カテゴリと属性セットにモデルを関連付けますその後 ModelProviderをインスタンス化します最後にそれを使って部屋をエクスポートしましょう属性を発見しいくつかのモデルを使ってモデルプロバイダを作成する方法を見てみましょうまずRoomPlanがサポートしているすべてのカテゴリを繰り返します対応するカテゴリごとにフォルダを作成します各フォルダには後でモデルを追加できます次に各カテゴリについて RoomPlanがサポートする属性の組み合わせをリクエストしますサポートされている属性のセットごとにフォルダを作成しますそれぞれのフォルダにカテゴリや属性のセットに対応する 3Dモデルを追加できますカタログのコンテンツが準備できたところでインデックスファイルを作成する必要がありますカタログインデックスを扱う構造体の例ですこれは要素の配列を含み各要素はカテゴリまたは属性のセットを含みます各要素は対応するモデルのパスへの参照を持っていますこれでインデックスファイルを plistとしてカタログをバンドルとして保存できますモデル付きの部屋をエクスポートしたいときやモデルプロバイダを使ってオブジェクトをモデルに関連付けたいときはこのカタログバンドルを使います行うべきことはカタログのカテゴリと属性を繰り返し対応するモデルのURLを見つけ属性がなければモデルのURLをカテゴリに関連付け属性のセットにモデルのURLを関連付けることだけです最後のステップは出力URL モデルプロバイダインスタンス .modelオプションを指定してエクスポート関数を呼び出すことです。出来上がり！みなさんのスキャンに対応する 3Dモデルを含むUSDZができあがりますさらにUSDZを BelnderのようなDCCツールに渡しライトやシャドウを追加することもできます説得力のある結果を作成するためにサンプルコードにあらかじめ入力されたカタログを追加しました再び出番ですよ Alex! Alex: ありがとうAntoine 今日私たちが共有したことを振り返ってみましょう第一にカスタムのARSessionのサポートによりスキャンと同時に高品質の画像やビデオをキャプチャして物件を改善するといった新しい使用例が可能になりますまた複数の部屋をスキャンし新しいStructureBuilder APIを使っての家全体の統合3D モデル生成もできます弱視ユーザーのスキャン体験を向上させる目的でRoomPlanは RoomCaptureView使用時に VoiceOver対応するようになりました RoomPlanの新しいオブジェクト属性はスキャンされた部屋をより正確に表現することができますそして最後に新しいエクスポートAPIを使ってカスタムカタログの3Dモデルに対応するスキャンしたオブジェクトに割り当てることができるようになりましたこちらがiOS 17のRoomPlanですみなさんがRoomPlanで何を創り出すか待ちきれないです

// RoomCaptureSession

public class RoomCaptureSession {
    // Init: ARSession is an optional input for RoomCaptureSession
    public init(arSession: ARSession? = nil) {
       ...
  }

    // Stop: pauseARSession is used for whether to continue ARSession experience
    public func stop(pauseARSession: Bool = true) {
       ...
  }
}

5:50 - MultiRoom support with Continuous ARSession

// Continuous ARSession

// start 1st scan
roomCaptureSession.run(configuration: captureSessionConfig)

// stop 1st scan with continuing ARSession
roomCaptureSession.stop(pauseARSession: false)

// start 2nd scan
roomCaptureSession.run(configuration: captureSessionConfig)

// stop 2nd scan (pauseARSession = true by default)
roomCaptureSession.stop()

7:30 - MultiRoom capture with loading ARWorldMap

// Capture with loading ARWorldMap

// load ARWorldMap
let arWorldMap = try NSKeyedUnarchiver.unarchivedObject(ofClass: ARWorldMap.self, from: data)

// run ARKit relocalization
let arWorldTrackingConfig = ARWorldTrackingConfiguration()
arWorldTrackingConfig.initialWorldMap = arWorldMap
roomCaptureSession.init()
roomCaptureSession.arSession.run(arWorldTrackingConfig, options: [])

// Wait for relocalization to complete
// start 2nd scan
roomCaptureSession.run(configuration: captureSessionConfig)

// stop 2nd scan
roomCaptureSession.stop()

9:40 - StructureBuilder

// StructureBuilder

// create structureBuilder instance
let structureBuilder = StructureBuilder(option: [.beautifyObjects])

// load multiple capturedRoom results to capturedRoomArray
var capturedRoomArray: [CapturedRoom] = []

// run structureBuilder API to get capturedStructure
let capturedStructure = try await structureBuilder.capturedStructure(from: capturedRoomArray)

// export capturedStructure to usdz
try capturedStructure.export(to: destinationURL)

10:11 - CapturedStructure

// CapturedStructure

public struct CapturedStructure: Codable, Sendable {
    public var rooms: [CapturedRoom]

    public var walls: [Surface]
    public var doors: [Surface]
    public var windows: [Surface]
    public var openings: [Surface]
    public var objects: [Object]
    public var floors: [Surface]
    public var sections: [Section]

    public func export(to url: URL, metadataURL: URL? = nil, modelProvider: ModelProvider? = nil, exportOptions: USDExportOptions = .mesh) throws
}

19:20 - Parse attributes and categories to create folder hierarchy

// Parse attributes and categories to create folder hierarchy

for category in CapturedRoom.Object.Category.allCases {

    let url = generateFolderURL(category: category, attributes: [])
    FileManager.default.createDirectory(at: url, withIntermediateDirectories: true)

    for attributes in category.supportedCombinations {
        let url = generateFolderURL(category: category, attributes: attributes)
        FileManager.default.createDirectory(at: url, withIntermediateDirectories: true)
    }
}

20:00 - Create a Catalog index

// Create a Catalog index

struct RoomPlanCatalog: Codable {
    let categoryAttributes: [RoomPlanCatalogCategoryAttribute]
}

struct RoomPlanCatalogCategoryAttribute: Codable {
    enum CodingKeys: String, CodingKey {
        case folderRelativePath
        case category
        case attributes
        case modelFilename
    }
    let category: CapturedRoom.Object.Category
    let attributes: [any CapturedRoomAttribute]
    let folderRelativePath: String
    private(set) var modelFilename: String? = nil
    
    func encode(to encoder: Encoder) throws {
       …
    }
}

20:15 - Create a Catalog bundle

//  Create a Catalog bundle

let catalog = RoomPlanCatalog(categoryAttributes: categoryAttributes)
let plistEncoder = PropertyListEncoder()
let data = try plistEncoder.encode(catalog)
let catalogURL = inputURL.appending(path: "catalog.plist")
try data.write(to: catalogURL)
let fileWrapper = try FileWrapper(url: inputURL)
try fileWrapper.write(to: outputURL, options: [.atomic, .withNameUpdating],
                      originalContentsURL: nil)

20:22 - Instantiate a Model Provider from a Catalog

// Instantiate a Model Provider from a Catalog

for categoryAttribute in catalog.categoryAttributes {
    guard let modelFilename = categoryAttribute.modelFilename else {
        continue 
    }
    let folderRelativePath = categoryAttribute.folderRelativePath
    let modelURL = url.appending(path: folderRelativePath).appending(path: modelFilename)
    if categoryAttribute.attributes.isEmpty {
       try modelProvider.setModelFileURL(modelURL, for: categoryAttribute.category)
    } else {
       try modelProvider.setModelFileURL(modelURL, for: categoryAttribute.attributes)
    }
}

20:47 - Exporting a captured room to usdz with models

// Exporting a captured room to usdz with models

try capturedRoom.export(to: outputURL, modelProvider: modelProvider, 
                        exportOptions: .model)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23

WWDC22