Apple Intelligenceの最新情報

Foundation ModelフレームワークはネイティブのSwift APIで、Apple Intelligenceを動かすのと同じオンデバイスモデルに直接アクセスできます。Apple Foundation Modelのほか、ClaudeやGeminiといったクラウドモデル、またはLanguage Modelプロトコルに準拠したその他のproviderなど、あらゆる言語モデルを利用できるようになりました。

マルチモーダルプロンプトによりテキストと画像を組み合わせて渡せるため、アプリがビジュアルコンテンツを推論できます。またOCRやバーコードリーダーなどVisionフレームワークのツールをモデルから直接呼び出すことも可能で、すべてオンデバイスで処理されます。Dynamic Profilesによりモデル、ツール、インストラクションをその場で切り替えられるため、継続セッション内でアプリの動作を柔軟に変更できます。

App Store Small Business Programに登録していて、アプリのApp Store累計初回ダウンロード数が200万件未満の場合、プライベートクラウドコンピューティング上で動作する次世代Apple Foundation ModelにクラウドAPIコストなしでアクセスできます。またEvaluationsフレームワークを使えば、ユニットテストだけでは検出しにくい動的な条件下でもAI機能が正しく動作するかを検証できます。

App Intentフレームワークは、アプリをApple IntelligenceやSiri AIなどの機能と連携させるためのフレームワークです。Siriが深く理解できる認識しやすい構造を持ち、長年にわたる言語モデルトレーニングの成果を反映したApp Intentのスキーマを導入することで、少ないコードでアプリのコンテンツを見つけやすくし、機能を自然言語で利用できるようにすることができます。

エンティティスキーマはアプリのコンテンツをSpotlightのセマンティックインデックスに提供し、アプリへの帰属情報とともにパーソナルコンテキストの理解を可能にします。インテントスキーマにより、ユーザーはそのコンテンツに対して自然な方法でアクションを実行できます。定義すべき特定のフレーズもなく、Siriの言語理解が進化したり新しい言語や地域の方言に対応したりしても、コードの変更は不要です。スキーマはタスク管理、写真編集、コミュニケーションなどのアプリの一般的なカテゴリをカバーしており、システム定義のため、将来の改善が自動的にインテントに反映されます。

さらに、新しいView Annotations APIによりオンスクリーン認識が追加され、ビューをエンティティにマッピングすることで、ユーザーが目の前のコンテンツを会話形式で参照したり操作したりできるようになります。また、新しいApp Intents Testingフレームワークを使えば、UIオートメーションを使わずに実際のシステム経路を通じて、Siri、ショートカット、Spotlightとの統合全体を検証できるため、問題を早期に発見し、自信を持ってリリースできます。

Image Playgroundは、パワフルな新しい生成モデルをプライベートクラウドコンピューティング上で実行できるように再設計されました。ユーザーはアプリ内で、写真のようにリアルなスタイルを含め、ほぼあらゆるスタイルで高品質な画像を生成できます。起点として写真や説明文から生成を始め、自然言語やタッチで画像を調整して、さらに縦または横の画面の向きを選んで、より多くのシーンで生成画像を利用することができます。これらの新機能はすべて、Image Playground APIを介してアプリ内で利用できます。

アプリ内でのコンテンツ検索を変革する、ビジュアルインテリジェンスのパワーをご紹介します。エンティティの定義や画像の処理の方法、複数の結果タイプを効果的に扱う方法を確認しましょう。スピードと関連性を最適化するためのベストプラクティスや、Intentを利用してワンタップでコンテンツを開くまたは再生するといった直接のアクションを実行する方法も学べます。