Apple Intelligenceは、次世代のApple Foundation Modelを活用したパーソナルインテリジェンスシステムです。iPhone、iPad、Mac、Apple Watch、Apple Vision Proで、パーソナルコンテキストの理解、アプリのアクション、オンスクリーン認識などの機能を実現します。App Intentを利用すると、アプリのコンテンツやアクションをSiri AIおよびシステムのさまざまな場所に統合できるため、ユーザーはアプリの機能をより自然に見つけて、使用できるようになります。また、マルチモーダルのプロンプトやあらゆる言語モデル（Apple Foundation ModelやLanguage Modelプロトコルに準拠するプロバイダを含む）をサポートするApple Foundation Modelフレームワークを使用して、インテリジェントな機能をアプリに直接組み込むこともできます。
macOS向けアプリの開発
Macのパワフルな機能を最大限に活用して、macOS用の優れたアプリやゲームを開発しましょう。Liquid Glassを使えば、魅力的なデザインのアプリを構築できます。App Intent、ウィジェット、ライブアクティビティを利用すると、ユーザーがシステムのさまざまな場所から、アプリのコンテンツにシームレスにアクセスできるようになります。またMetal 4やVideo Effects APIなどの新しいテクノロジーを活用することで、パワフルなイマーシブ体験が生み出されます。さらに、アプリやゲームをAppleシリコンにネイティブで構築すれば、パフォーマンスを最大限に高めることができます。
macOSの特徴
Apple Intelligence
Foundation Modelフレームワーク
Foundation ModelフレームワークはネイティブのSwift APIです。オンデバイスおよびプライベートクラウドコンピューティング*で実行されるApple Foundation Modelや、Language Modelプロトコル準拠のSwiftパッケージに対応するモデルプロバイダーへの直接アクセスを可能にします。
この環境でマルチモーダルプロンプトやオンデバイスのVisionフレームワークのツールを利用することで、テキストと画像に関する推論をアプリで実行できます。また、Dynamic Profileを使ってモデル、ツール、指示を切り替え、アプリのインテリジェンスを継続的なセッションの中でリアルタイムに適応させることもできます。さらに、新しいEvaluationsフレームワークを使えば、変化する条件のもとでもAI機能が想定通り正しく動作することを確認できます。
App Intent
App Intentフレームワークは、スキーマを介してアプリをApple IntelligenceやSiri AIと連係させます。スキーマとは、長年にわたる言語モデルのトレーニングにもとづいて構築された認識可能な構造です。これにより、アプリのコンテンツを見つけてもらいやすくなり、より少ないコードで自然言語を使ってアプリの機能を提供できるようになります。
エンティティスキーマによってアプリのコンテンツをSpotlightのセマンティックインデックスに関連付けることで、パーソナルコンテキストの理解を活用できます。また、インテントスキーマを使うことで、ユーザーはそのコンテンツに対するアクションを自然な方法で行えるようになります。Siriの言語理解は進化するので、特定のフレーズを定義したり、コードを変更したりする必要はありません。View Annotations APIを使えば、これらのメリットをオンスクリーン認識機能によってさらに拡張し、ビューをエンティティにマッピングできるので、ユーザーは画面上のアイテムを音声で参照したり、操作したりできます。
プラットフォームデザインとLiquid Glass
すべてのAppleプラットフォームで統一感あるデザインを採用し、ユーザーにとって最も重要なコンテンツを引き立てています。各プラットフォームの特性を維持しながら、表現力豊かで、楽しく、作業に集中しやすいアプリを実現できます。
洗練された新しいプラットフォームデザインにより、一貫性、読みやすさ、アクセシビリティが向上しました。また、各種のデバイスや画面サイズに合わせてアプリを適応させるための方法も導入されています。新しいデザインツールやアップデートされたデザインツールを使用すれば、アイコン、SF Symbols、ウォレットパス、3Dコンテンツなどの作成作業をより細かく制御できます。
Metalを活用したゲーム
Metalは、GPUを低オーバーヘッドで直接制御できるため、魅力的なビジュアルのゲームを作成し、Appleシリコン上で最大限の効率で実行できます。ML推論をシェーダで直接実行することで、ライティング、マテリアル、ジオメトリをリアルタイムで計算できます。MetalFXを使用すると、低解像度のコンテンツをアップスケールしてパフォーマンスを向上させ、GPUの処理負担を軽減できます。新しいエージェントスキルとコマンドラインMetalツールを備えたGame Porting Toolkit 4では、ポーティングプロセスの各ステップをAIコーディングエージェントに実行させることで、ゲームをAppleプラットフォームにポーティングする際の時間とコストを大幅に削減できます。
Video Effects API
Video Effects APIにより、Motion BlurとFrame Rate Conversion、Image Super-ResolutionとVideo Super-Resolutionなど、機械学習ベースのビデオ処理アルゴリズムが多数利用できるようになります。ビデオ編集アプリにこのAPIを取り入れることで、独自のストーリーを伝えるための新たな方法をユーザーに提供できます。Motion Blur（被写体ぶれ）を使用すると、難しい物理的なセットアップをしなくても、被写体ぶれのエフェクトをデジタルで再現できます。Frame Rate Conversion（FRC、フレームレート変換）を使用すると、ビデオクリップのリタイミング、スローモーションや、コマ落ちによりがたつく動画のギャップ補間による修正が可能になります。Image Super-Resolution（ISR）とVideo Super-Resolution（VSR）は最大4倍のアップスケーリングをサポートしており、低解像度のソースでも鮮明なディテールと高品質の映像を実現します。
ライブアクティビティ
近くにあるiPhoneのライブアクティビティがMacのメニューバーに表示されるため、スポーツの試合、ワークアウト、ライドシェア、フードデリバリーの注文など、リアルタイムで起こっていることを把握するのに役立ちます。
ライブアクティビティではデータが頻繁に更新されるだけでなく、ユーザーが情報を対話的に操作できます。既存のプッシュ通知システム以上の頻度でコンテンツやステータスが更新されるアプリの場合、ライブアクティビティを使用することで、ユーザーは、ライブイベント、アクティビティ、数時間にわたるタスクなどの最新情報を柔軟に確認できます。
ウィジェット
ウィジェットにはアプリやゲームからタイムリーかつ関連性の高い情報が少しだけ抽出されるため、ユーザーはアプリを開くことなく、そうした情報を一目で、より幅広いコンテキストで確認できます。
ウィジェットはMacのデスクトップに追加したり、通知センターに隠しておいたりできるほか、Macから直接iPhoneのウィジェットにアクセスすることもできます。
