RoomPlanによるパラメトリックな3Dルームスキャンの作成

RoomPlanを使用すると、Appで簡単にパラメトリックな3Dルームスキャンを作成できるようになります。このAPIを使って、部屋のスキャン体験を簡単に実現する方法をご確認ください。このAPIを組み込む方法、3Dのパラメトリックな出力、Appで優れた結果を得るためのベストプラクティスについても紹介します。

リソース

関連ビデオ

Tech Talks

エンタープライズデベロッパ向けの最新情報

WWDC23

RoomPlanにおける機能強化の詳細

WWDC22

ダウンロード

♪♪ こんにちは Prototypingチームの Praveenですこんにちは Video Engineeringチームの Kaiですこの数年間 Appleはパワフルな新しい方法でみなさんの世界をAppで表現することを可能にしました昨年はObject Captureを導入し実世界の写真を取り込み Photogrammetry APIを使って Appで使える3Dモデルに変換できるようになりました Object Captureの前に Scene Reconstruction APIをリリースこれを利用して空間の幾何学的構造の理解と Appでの全く新しい拡張現実のユースケースを可能にしました今年はRoomPlanという全く新しいフレームワークを発表できることに興奮してます RoomPlanは LiDAR対応の iPhoneかiPadを使い部屋をスキャンできます Appで使えるパラメトリックな部屋の３Ｄモデルと部屋のオブジェクトが生成されます RoomPlanのスキャン体験がどのようなものになるのか確認してみましょう RoomPlanは ARKitを利用した高度な機械学習アルゴリズムにより壁窓開口部ドアや暖炉ソファテーブルキャビネットなどといった部屋の中のオブジェクトを検出します RealityKitを使ってスキャンの進行状況をレンダリングする RoomCaptureView APIを使うとスキャン体験を簡単に Appに組み込めますスキャンが終了すると RoomCaptureViewがポストプロセスの結果を提供しユースケースに適合させる形で利用することができます機械学習や分析といった複雑な実装なしで全く新しい方法で部屋とインタラクションすることが可能になりました例えばインテリアデザインのAppであれば壁の色の変更をプレビューし必要な塗料の量を正確に計算できます建築Appの場合は部屋のレイアウト変更のプレビューや編集がリアルタイムで可能に不動産Appの場合は業者が間取りをキャプチャしその3Dモデルを提供できます EコマースAppの場合は部屋で製品を視覚化し顧客を引き付けることができますこれらはRoomPlanが可能にする Appのほんの一例です RoomPlanの組み込みの簡単さに驚くかもしれません見てみましょう RoomPlanの使用方法は2つあります１つ目はシームレスに取り込みができすぐ使えるスキャン機能２つ目はユースケースに最適化した形でライブでパラメトリックデータを使えるようにするデータAPIですそれぞれのAPIで最適なスキャン結果のためのベストプラクティスの適用をお薦めしていますこれについてはプレゼンの最後に説明しますまず Appに組み込み可能な新しい RoomCaptureView APIを使ったスキャン体験について説明します RoomCaptureViewは Appに配置できる UIViewのサブクラスですワールドスペースのスキャンのフィードバックの表示リアルタイムでの部屋のモデルの生成ユーザーガイダンスなどを処理します RoomCaptureViewベースのスキャンで表示されるデザイン要素を詳しく見ましょう RoomCaptureViewでは検出された壁窓開口部ドアや部屋のオブジェクトがリアルタイムに線のアニメーションで囲われますインタラクティブな 3Dモデルはリアルタイムで生成されスキャンの進捗状況がすぐ把握できますテキストによるコーチングで最適なスキャン結果を導き出します RoomCaptureViewを使うための 4つの簡単な手順を確認してみましょうまずRoomCaptureView の参照を ViewControllerで作成次に RoomCaptureSession configurationオブジェクトへの参照を作成スキャンのセッションを開始すべく captureSessionの run関数に configurationを渡します最後にAppで captureSessionにスキャンの停止を指示しますオプションで Appを RoomCaptureViewDelegateに準拠させることができますポストプロセスの結果やプレゼンテーションをオプトアウトしたり利用可能になった時点でポストプロセスの結果を処理することができます結果として得られる CapturedRoomデータ構造体を export関数で USDZとしてエクスポートできますご覧いただいたように RoomPlanをAppに組み込むのは簡単です APIを使ってみなさんが何を生み出されるか楽しみですそれでは同僚のKaiが RoomCaptureSessionと RoomPlanのData APIについて説明しますどうもPraveen このセクションではスキャン中に基盤となっているデータ構造へのアクセスとスキャン体験のカスタムビジュアライゼーションの構築に有益なデータAPIついて説明します基本的なワークフローはスキャン処理エクスポートの 3つで構成されますまずスキャンのためのキャプチャセッションの設定・開始キャプチャプロセスの表示とモニタリング方法の基本について説明します次にスキャンデータの処理過程とプレゼンテーション用の最終モデルがどう渡されるかを確認します最後にUSDワークフローでも使用できる USDファイル出力を生成してエクスポートする方法の説明ではスキャンについて説明します RoomCaptureSession API でセッションをセットアップしスキャンを継続しながら進行状況を表示しますコードでお見せしましょう簡単なRealityKit Appの例ですまずRoomPlanを Swiftプロジェクトにインポート ViewControllerで RoomCaptureSession インスタンスを初期化し結果のビジュアライズのためのカスタム型を持たせます RoomCaptureSessionには基盤となっている AR Sessionのハンドルがあるので平面やオブジェクトの境界ボックス描画ができます RoomCaptureSessionはデリゲートパターンを採用しており ViewControllerクラスで ViewController 自体を captureSessionのデリゲートとして割り当てられます ViewControlleは RoomCaptureSessionからリアルタイム更新を取得できます更新にはキャプチャ中のガイドのための 3Dモデルやインストラクションが含まれています更新の取得には ViewControllerが RoomCaptureSessionDelegate プロトコルに準拠し２つのメソッドの実装が必要になりますまず１つ目は captureSession(_session: didUpdate room:) メソッドで CapturedRoomデータ構造体を取得します自身のビジュアライザでこれを使用して 3DモデルのAR Viewを更新しリアルタイムのフィードバックを提供できます CapturedRoom構造体については後ほど詳しく説明しますこのメソッドは CapturedRoomに対するアップデートが検出された際に呼ばれます２つ目は captureSession(_session: didProvide instruction:)ですリアルタイムのフィードバックを含むインストラクションの構造体を提供しますこれを利用してビジュアライザでユーザーをガイドしますこのAPIが提供するインストラクションを確認してみましょうインストラクションにはオブジェクトまでの距離スキャン速度部屋の照明の調整テクスチャの多い場所へのフォーカスなどが含まれますこれらはスキャン中に提供されるのでリアルタイムなフィードバックとしてガイドすることができます次はプロセスのパートに進みます RoomBuilderクラスでスキャンデータを処理し 3Dモデルの生成しますキャプチャデータを処理するためにはまずRoomBuilder インスタンスを初期化しますキャプチャプロセス後にセンサデータを受け取るためには captureSession(_session:didEndWith data: error:) の実装が必要です stop () 関数やエラーによって RoomCaptureSessionが停止された場合この関数が呼ばれ CaptureRoomDataオブジェクトとオプションのエラーが返されます最後にキャプチャデータを処理する場合は roomBuilderの async roomModel (from:)を awaitキーワードとともに呼びますスキャンデータを処理し最終的な3Dモデルの構築非同期で実行しますここでは昨年のWWDCで紹介した Swiftのasync/awaitを利用しています数秒以内にみなさんのAppに最終的なプレゼンテーションモデルができあがりますではCapturedRoomのデータ構造の詳細と App用にエクスポートする方法を説明しますトップレベルには SurfaceとObjectで構成されたCapturedRoomがサーフェスにはカーブを表す固有の属性が半径開始角度終了角度などですサーフェスの４つの異なるエッジ; 壁開口部窓ドアといった建築のカテゴリが含まれますオブジェクトにはテーブルベッドやソファなどの家具のカテゴリがサーフェスとオブジェクトには共通属性があり; 寸法やスキャンされた 3つのレベルの信頼度 3D変換行列ユニークな識別子などですコードでの表現を見てみましょう CapturedRoom構造体は部屋の要素のパラメトリックな表現となっています壁開口部ドア窓や部屋のオブジェクトなど 5つのプロパティが含まれます最初の4つの要素は 2Dの平面的な建築構造が Surface構造体として表されます右側には先ほど説明したさまざまなプロパティがあります最後のプロパティは部屋内の 3 Dオブジェクトの配列でオブジェクトは立方体として表されます右側にオブジェクトのプロパティを表示していますこちらがRoomPlanがサポートするオブジェクトの一覧ですこれにはソファテーブル椅子など一般的な多種多様の家具が含まれます最後にエクスポート機能により CapturedRoomを USDまたは USDZデータにエクスポートできます Cinema 4Dで USD出力を開き部屋の階層的なデータ構造各部屋の要素やオブジェクトの寸法と位置を参照したり編集したりすることができる例です既存のUSDやUSDZのワークフローを活用し不動産 EコマースインテリアなどさまざまなAppにキャプチャした部屋のレンダ情報を追加することもできますスキャン体験と RoomPlan APIの説明をしました RoomPlanを使いこなすベストプラクティスについて紹介しますここでは適切なスキャンを可能にするための推奨条件として部屋を選択する際の部屋の特徴など注意する点を説明します RoomPlan APIは一般家庭の建築構造とオブジェクトをサポートします１部屋を対象するとベストな動作となります最大サイズは 30ft x 30ft までまたは約 9m x 9m です照明はAPIにとって重要でクリアなビデオストリームと優れた ARトラッキング性能に繋がります最低50ルクス以上が推奨されており夜間のリビングルームくらいの明るさとなります RoomPlan APIは LiDAR対応のiPhoneと iPad Pro全モデルに対応しています APIを利用する上でいくつか特別な条件がありますフルに高さのあるミラーやガラスは LiDARセンサの出力の観点から課題となります天井が高い場合も LiDARセンサのレンジを超えてしまうことがあります非常に暗い表面はスキャンが難しくなる場合があります最良の結果を得るには考慮事項がありますまず高い精度が要求される Appではスキャン前の部屋の準備で品質を高めることできます日中のスキャンはカーテンを開けると自然光が入り窓を遮るものを軽減することができますドアを閉めると部屋の外の不要な部分をスキャンせずにすみますまた APIで優れたスキャンを行うためには良いスキャンモーションが重要ですフィードバックの提供のためにテクスチャ距離速度照明条件についてスキャン中ユーザーに通知します気をつけることはバッテリーと発熱です RoomPlan APIで多くの最適化をし優れたスキャン体験を実現していますがとはいえ繰り返しスキャンや 5分以上の長時間の使用は避けましょう疲労の原因のほかバッテリーの消耗と発熱問題で Appのユーザー体験に影響を与える可能性が今回は盛りだくさんでした最新のRoomPlan APIを紹介しました部屋を撮影するための直感的なスキャン体験環境を理解する強力な機械学習モデル Appに簡単に組み込めるようパラメトリックな USD出力形式の提供新しいRoomPlan体験をデザインし実装するためのガイダンスは関連セッションをチェックしてください RoomPlanをお試しください新APIでみなさんが何を作られるか楽しみですありがとうございました ♪♪

4:36 - RoomCaptureView API - Scan & Process

// RoomCaptureView API - Scan & Process

import UIKit
import RoomPlan

class RoomCaptureViewController: UIViewController {

    var roomCaptureView: RoomCaptureView
    var captureSessionConfig: RoomCaptureSession.Configuration

   private func startSession() {
        roomCaptureView?.captureSession.run(configuration: captureSessionConfig)
     }
    
    private func stopSession() {
        roomCaptureView?.captureSession.stop()
	}
}

5:00 - RoomCaptureView API - Export

// RoomCaptureView API - Export

import UIKit
import RoomPlan

class RoomCaptureViewController: UIViewController {
  …
  func captureView(shouldPresent roomDataForProcessing: CapturedRoomData, error: Error?) -> Bool {
    // Optionally opt out of post processed scan results.
    return false
  }

  func captureView(didPresent processedResult: CapturedRoom, error: Error?) {
    // Handle final, post processed results and optional error.
    // Export processedResults
    …
    try processedResult.export(to: destinationURL)
    …
  }
}

6:50 - RoomCaptureSession - setup previewVisualizer

import UIKit
import RealityKit
import RoomPlan
import ARKit

class ViewController: UIViewController {
    @IBOutlet weak var arView: ARView!
    var previewVisualizer: Visualizer!
    lazy var captureSession: RoomCaptureSession = {
        let captureSession = RoomCaptureSession()
        arView.session = captureSession.arSession
        return captureSession
    }()
    override func viewDidLoad() {
        super.viewDidLoad()
        captureSession.delegate = self
        // set up previewVisualizer
    }
}

7:40 - RoomCaptureSession - live results and user instructions

// Getting live results and user instructions

extension ViewController: RoomCaptureSessionDelegate {

    func captureSession(_ session: RoomCaptureSession,
                        didUpdate room: CapturedRoom) {
        previewVisualizer.update(model: room)
    }
    
    func captureSession(_ session: RoomCaptureSession,
                   didProvide instruction: Instruction) {
        previewVisualizer.provide(instruction)
    }
}

9:12 - Setup RoomBuilder

// RoomBuilder
import UIKit
import RealityKit
import RoomPlan
import ARKit

class ViewController: UIViewController {
    
    @IBOutlet weak var arView: ARView!
    var previewVisualizer: Visualizer!

    // set up RoomBuilder
    var roomBuilder = RoomBuilder(options: [.beautifyObjects])
}

9:30 - RoomBuilder - generate final 3D CapturedRoom

// RoomBuilder with the latest CapturedRoomData to generate final 3D CapturedRoom

extension ViewController: RoomCaptureSessionDelegate
{
    func captureSession(_ session: RoomCaptureSession, 
                        didEndWith data: CapturedRoomData, error: Error?)
    {
        if let error = error {
            print("Error: \(error)")
        }
        Task {
            let finalRoom = try! await roomBuilder.capturedRoom(from: data)
            previewVisualizer.update(model: finalRoom)
        }
    }
}

11:20 - CapturedRoom and export

// CapturedRoom and export

public struct CapturedRoom: Codable, Sendable
{
    public let walls: [Surface]
    public let doors: [Surface]
    public let windows: [Surface]
    public let openings: [Surface]
    public let objects: [Object]

    public func export(to url: URL) throws

    // Surface definitions ...
    
    // Object definitions ...
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。