Core Spotlightによるセマンティック検索のサポート

Core Spotlightを使用して、アプリにセマンティック検索の結果を表示する方法をご紹介します。ユーザーのデバイス上のプライベートインデックス内でアプリのコンテンツを参照可能にして、ユーザーが自然言語で項目を検索できるようにする方法を学べます。また、インデックス作成アクティビティのスケジュールを設定して、アプリのパフォーマンスを最適化する方法も説明します。このセッションの内容を最大限に活用するには、まずApple Developer WebサイトにあるCore Spotlightのドキュメントを確認されることをお勧めします。

リソース

関連ビデオ

WWDC24

App Intentでアプリのコア機能をユーザーに提供

WWDC21

AppデータのSpotlightでの表示

ダウンロード

こんにちは SpotlightチームのエンジニアのJenniferです Appleは検索を重視しています本日は Spotlightが提供する新しいAPIをすべて紹介しますこれによりアプリ内に強力な検索機能を組み込むことができます CoreSpotlightはアプリが検索可能なコンテンツを Spotlightに提供しクエリを使ってコンテンツを取得できるようにするフレームワークですアプリの永続ストレージソリューションを強化する優れた方法ですアプリが提供する検索可能なコンテンツは非公開の完全にローカルなインデックスに保存されデバイス外に出ることはありませんユーザーはコンテンツを Spotlightで検索できますが他のアプリではデータを見ることができません CoreSpotlightでは検索バーに直接入力された検索語句から検索結果や候補をアプリに簡単に提供できます今年 CoreSpotlightではセマンティック検索によるクエリの理解をサポートしますこれまで Spotlightではアプリ内のコンテンツを検索できましたが検索語句が完全に一致する必要がありましたセマンティック検索を使うとユーザーは似た意味の検索語句でアプリ内のコンテンツを検索できます Spotlightのクエリ理解モデルではどのような方法で検索しても適切な結果が得られます本日はアプリに優れた検索機能を構築する方法を説明しますまず検索インデックスへのコンテンツの追加次にデータの移行と復元に関するベストプラクティスを説明しますさらに結果や候補を取得する方法ユーザーに最も関連性の高い検索結果の順位を上げる方法を説明しますここではユーザーが書いた日記のエントリを検索するアプリを作成しますこのサンプルアプリの完全なコードは下のリンクから確認できます

優れた検索機能を構築する第一歩はユーザーがアプリで検索する内容となる検索可能コンテンツを Spotlightに提供することですこの日記アプリではユーザーがすべての入力内容を検索できるようにするため各日記エントリが検索可能なアイテムになります以上を念頭に置いてアイテムを適切にインデックス化しクエリを使用してユーザーインターフェイスのビューに直接反映できるようにする必要があります現在セマンティック検索はテキストや画像／ビデオなどのメディアアセットで最も効果的に機能します最良の結果を得るには検索可能アイテムに適切なコンテンツタイプが含まれている必要がありますまた可能な限りシステム定義の属性を使ってください CSSearchableItemを作成するために一意の識別子オプションのドメイン識別子属性セットを指定します一意の識別子はアプリの永続ストレージソリューションに保存しますそれにより完全なアイテムデータを復元できます次にCSSearchableAttributeSetを作成します必ず有効なコンテンツタイプを設定してくださいサポートするUTタイプのリストや独自のコンテンツタイプを作成する方法についてはドキュメントをご覧くださいテキストで検索可能なアイテムを提供する場合 titleとtextContentを必ず設定しますこれらの属性はセマンティックインデックスで処理されますアイテムが画像またはビデオアセットの場合 contentURLにアセットへのパスを必ず設定しますこれによりアプリの Sandbox化されたコンテナからアセットをセマンティックインデックスで処理できます

また添付ファイルや Webコンテンツを参照する場合独自のコンテンツタイプと属性を使ってこれらを個別アイテムとしてインデックスに提供することを検討してくださいソースアイテムとの関係を維持するには relatedUniqueIdentifierを使います

検索可能なアイテムを設計したら検索可能インデックスを作成して Spotlightに提供しますアプリの設計に応じて提供をより効率的に行うための新しいAPIがありますクライアントステートによるバッチインデックス化アイテムの更新などが含まれますまず名前付きのCSSearchableIndexを作成します Spotlightに送信した最後のクライアントステートを取得して検証し検索可能アイテムをインデックス化しますインデックス化の呼び出しがアイテムのバッチの開始と終了の呼び出しで囲まれ次のクライアントステートが送信される点に注意してください

クライアントステートはアイテムの大きなカタログの管理やアプリとSpotlight間のデータ整合性の維持に役立ちますまたアプリのパフォーマンスに影響を与える過度のアイテム提供の防止にも役立ちますさらに新しいisUpdateフラグと組み合わせるとアプリは必要なものだけを確実に提供できます移行と復元は一貫性のある検索機能を構築するための重要な部分です Spotlightインデックスは完全にローカルかつ非公開ですそのため検索可能コンテンツが Spotlight内で最新であることを確認する必要があります何らかの問題のため Spotlightがインデックスの移行またはデータの復元を必要とする場合 Spotlightはすべてまたは一部のアイテムの再インデックス化をアプリに要求しますアプリでこれらのリクエストに対応するにはアプリ実行時にデリゲートプロトコルを使用しさらにデリゲートExtensionを実装します SpotlightはこのExtensionをアプリとは別に呼び出すことができますインデックスデリゲートExtensionを使うと Spotlightはデバイスがスリープ状態やアイドル状態の場合などにリクエストするようスケジュールを設定できますアイテムは時間が経過すると移行されアプリの既存の検索機能はほぼ変更不要です新しいXcodeファイルターゲットを使うとインデックスデリゲートExtensionはとても簡単に設定できますその方法を見てみましょう日記アプリから始めますバンドルIDを含む検索可能コンテンツを提供するように設定済みです最初に新しいターゲットを作成します「File」メニューに移動し「New」「Target」を選択します

Extensionのプラットフォームを選択しますここではmacOSから始めます新しいCoreSpotlight Delegate Extensionテンプレートを探します

「Next」をクリックして新しいターゲットを設定します「Finish」をクリックして新しいターゲットをプロジェクトに追加します

追加したら新しいExtensionを有効にします

スタブ実装を見てみましょう

Spotlight自体がこのプロセスを開始するのでデバッグに役立つ便利なコマンドラインユーティリティを使います実際に試してみましょう

まずこのメソッドにブレークポイントを設定しコード内でこのブレークポイントをキャッチします呼び出し元をブロックしないよう acknowledgmentHandlerを呼び出します

次にこの新しいApp Extensionを含めるためにアプリを再ビルドしますアプリのターゲットを選択し「Product」で「Bユーザーインターフェイスld」を選択します

再びExtensionターゲットに切り替え「Debug」メニューから「Attach to Process」を選択します

これでデバッグできますここでターミナルアプリを起動してユーティリティコマンドを実行します

mdutilツールでデバッグ用のバンドルIDに対するリクエストをシミュレートします実行します

Xcodeのプロジェクトに戻りブレークポイントへの到達を確認しますこれですべてまたは一部のアイテムの再インデックス化ドラッグ＆ドロップのサポートの追加重要な提供パスを制限するシナリオへの対応の実装を完了できます検索可能アイテムをインデックス化したので次にユーザーインターフェイスで検索機能をサポートしますユーザーインターフェイスのニーズに合わせてクエリを設定できますセマンティック検索はデフォルトで有効ですが Spotlightと同じ最新の機械学習モデルを使って順位付けされた結果を返すようにクエリを設定することもできますまたクエリを設定してアプリで候補メニューをサポートできます CSUserQueryContextを使ってユーザーインターフェイスに適したクエリを設定しますクエリから返される各アイテムに対して取得される属性のリストを設定してくださいこれらの取得された属性には通常ユーザーインターフェイスへの表示に必要なものだけが含まれます順位付けした結果はフラグで有効化でき表示数も制限できますこれらの結果は通常別の「Top Hits」セクションに表示されますすべての結果が返されたらアプリで結果を並べ替えますこれは新しいcompareByRank コンパレータで実行できます

候補は数字で件数を設定したり無効にしたりできます候補は順位の順に返されますが並べ替える時に順序を元に戻すこともできますメタデータ構文を使う構造化クエリは検索結果をアプリのユーザーインターフェイスに合わせる最適な方法です例えば画像のみを表示するタブを選択する場合このようなフィルタクエリを使って結果セットに画像のみを含むように指定できますフィルタクエリはアプリの特定の部分に移動するためのブレッドクラムなど Spotlightにのみ表示するコンテンツにも便利ですメタデータ構文を使ってカスタムフィルタクエリを作成する方法についてはドキュメントをご覧ください

最後に検索バーのクエリ文字列とクエリコンテキストを使って CSUserQueryを作成します結果と候補は非同期レスポンスで返されますアイテムの結果は非同期バッチで返されますそのため順位が有効な場合は表示前にアイテムを並べ替えてください通常候補は入力された文字列の補完として返されます CSSuggestionは候補メニューに表示できる属性付き文字列を提供しますユーザーが候補を選択したらこの文字列で検索バーのテキストを置き換え新しい検索をトリガします

セマンティック検索ではアプリのプロセスで実行される機械学習モデルをデバイスにダウンロードする必要がありますこれらのモデルはいつでもロードまたはアンロードして実行中にアプリのメモリ容量を節約できますそのため検索インターフェイスが毎回表示される直前にこのクラスメソッドを呼び出すことをおすすめしますそれにより検索開始後すぐにすべてのリソースを利用できます検索が機能するようになったので時間の経過とともに検索機能を改善するためにユーザーが最も関心を持っているコンテンツの順位を高めるシグナルを提供することをおすすめしますエンゲージメントと新鮮さは適応型の順位付け体験を提供する重要なシグナルですユーザーは検索可能アイテムの関連コンテンツを閲覧する場合がありますまたは検索を開始して結果セットの項目をスクロールして確認し最後に結果を選択して詳細を確認する場合がありますそれぞれの場合にアプリからエンゲージメントシグナルを Spotlightに送信して今後の検索での順位を改善できます

CSSearchableItemの関連コンテンツをユーザーが閲覧している場合はアイテム属性セットに lastUsedDateプロパティを設定し最新情報としてインデックスに反映しますユーザーがクエリの結果やクエリの候補を選択した場合その操作をそのクエリに関連する操作としてマークできます以上ですこれで様々なプラットフォームや地域の多様な検索コンテンツをシームレスに処理する本格的な検索機能を利用できますデバイス上の完全に非公開の検索インデックスにコンテンツを提供する方法を説明しました結果や候補を取得する方法時間の経過とともに最適な検索結果を増やす方法についても説明しました CoreSpotlightによりユーザーがアプリでコンテンツを見つけやすくなりますまたセマンティック検索がこれまで以上に強力になりました

Spotlightとのその他の統合については App Intentの活用と CoreDataを使って CoreSpotlightへの提供を無料で実現する方法に関するセッションをご覧くださいご視聴ありがとうございました Spotlightでお会いしましょう

2:14 - Creating CSSearchableItem

// Creating searchable items for donation


let item = CSSearchableItem(uniqueIdentifier: uniqueIdentifier, domainIdentifier: domainIdentifier, attributeSet: attributeSet)

2:28 - Creating CSSearchableAttributeSet

// Creating searchable content for donation


let attributeSet = CSSearchableItemAttributeSet(contentType: UTType.text)
attributeSet.contentType = UTType.text.identifier

2:40 - Searchable items with type

// Searchable items with text


attributeSet.title
attributeSet.textContent


// Searchable items with media


attributeSet.contentType
attributeSet.contentURL


// Searchable items with links


attributeSet.contentURL
attributeSet.relatedUniqueIdentifier

3:31 - Batch indexing with client state

// Batch indexing with client state


let index = CSSearchableIndex(name: "SpotlightSearchSample")        
index.fetchLastClientState { state, error in         
    if state == nil {
        index.beginBatch()
        index.indexSearchableItems(items)
        index.endIndexBatch(expectedClientState: state, newClientState: newState) { error in
        }
    }
}

3:56 - Avoid overwriting existing attributes

// Make it an update to avoid overwriting existing attributes


item.isUpdate = true

7:19 - Configure a query

// Configure a query


let queryContext = CSUserQueryContext()
queryContext.fetchAttributes = ["title", "contentDescription"]

7:33 - Ranked results

// Ranked results


queryContext.enableRankedResults = true
queryContext.maxRankedResultCount = 2

7:47 - Suggestions

// Suggestions


queryContext.maxSuggestionCount = 4

7:55 - Filter queries

// Filter queries


queryContext.filterQueries = ["contentTypeTree=\"public.image\""]

8:23 - Query for searchable items and suggestions

// Query for searchable items and suggestions


let query = CSUserQuery(userQueryString: "windsurfing carmel", userQueryContext: queryContext)
for try await element in query.responses {
    switch(element) {
        case .item(let item):
            self.items.append(item)
            break
        case .suggestion(let suggestion):
            self.suggestions.append(suggestion)
            break
    }
}

8:40 - Suggestions

// Suggestions


suggestion.localizedAttributedSuggestion

8:56 - Preparing for queries

// Preparing for queries


CSUserQuery.prepare
CSUserQuery.prepareWithProtectionClasses

9:50 - Set the lastUsedDate

// Set the lastUsedDate when the user interacts with the item


item.attributeSet.lastUsedDate = Date.now
item.isUpdate = true

10:00 - Interactions with items and suggestions from a query

// Interactions with items and suggestions from a query


query.userEngaged(item, visibleItems: visibleItems, interaction: CSUserQuery.UserInteractionKind.select)

query.userEngaged(suggestion, visibleSuggestions: visibleSuggestions, interaction: CSUserQuery.UserInteractionKind.select)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

Core Spotlightによるセマンティック検索のサポート

関連する章

リソース

関連ビデオ

WWDC24

WWDC21