On-Device AI: 音声アシスタント

On-Device AI は、チャット、読み上げ、文字起こし、メモ、リサーチをひとつにまとめたプライベートな作業環境です。iPhone、iPad、Mac、Apple Vision Pro に対応し、データは端末の中に残ります。 モデルを一度ダウンロードすれば、飛行機の中でも地下鉄でも、通信がまったく届かない場所でも使えます。チャット、書類、録音、メモの処理と保存はすべて端末内で行われます。オンラインのプロバイダやウェブ機能は、必要なときに自分でオンにしたときだけ動きます。 ひとつのアプリに10のワークスペース AIチャット、AI検索、AIブラウザ、リスニングライブラリ、RSSフィード、音声メモ、テキスト読み上げ、知識、テキストノート、アプリヘルプが、同じモデルと同じプライベートな保存領域を共有します。 AIチャット ローカルモデルでも、クラウドモデルでも。 • Gemma、Qwen、DeepSeek、Mistral などのファミリーのローカルモデルを実行、または自分のプロバイダアカウントを接続 • テキスト、画像、推論、ツール利用に対応したモデルから、端末に合うものを選択 • 書類や画像を渡し、どのメッセージからでも会話を分岐させ、同じプロンプトで複数のモデルを比較 • 計算、ネットワーク要求、書類、カレンダー、リマインダーのツールをモデルに使わせ、変更は適用前に確認 • Agent Profiles を作り、AI Skills を追加し、MCP サーバーを接続し、工程が多い作業にはサブエージェントを実行 • 何度も使う情報はグローバルメモリに保存 リスニングライブラリとRSSフィード 読む時間を、聴く時間に。 • PDF、Markdown、テキスト、ウェブ記事、スキャンした書籍を聴くための一覧に変換 • 撮影したページを取り込み、端末内で実行したOCRを直し、各ページと読み上げるテキストを一緒に保存 • RSS、Atom、JSON のフィードでサイトを追いかけ、記事を「次に再生」へ追加 • Apple の音声かローカルのニューラル音声を選び、リーダーで読んでいる位置を追い、スリープタイマーを設定 音声メモ、音声入力、テキスト読み上げ 打つ代わりに話し、読む代わりに聴く。 • 会議、講義、インタビュー、思いついたことを録音して文字起こし • Mac では音声入力、iPhone と iPad では音声キーボードで口述 • Apple Speech、Whisper、Parakeet、Nemotron、Qwen3-ASR などのエンジンで文字起こし • テキストや写真から読み取った文字を、Apple の音声、Kokoro、PocketTTS、Qwen 3 TTS、CosyVoice、VibeVoice で音声に変換 • 文字起こしはテキスト、字幕、Markdown として書き出し AI検索とAIブラウザ 調べ物に、もう一組の手を。 • 会話の中でウェブを検索し、結果はモデルに読ませる • タブ、プロファイル、履歴、ダウンロードでウェブを見て、開いているページの読み取りや操作をモデルに依頼 • ブラウザエージェントに作業を任せ、手順を見ながら、いつでも自分で引き継ぐ 知識とテキストノート 自分の資料を、AIの土台に。 • PDF、テキスト、Markdown、コード、画像、ウェブページを検索できるプライベートなライブラリに追加 • Markdown のメモをアプリ内で作成、編集 • AIチャット、音声メモ、テキスト読み上げの項目、AI検索の結果を取り込み • 検索の効き方を調整し、編集した内容は改めてインデックスを作成 アプリヘルプ 機能や設定の使い方をそのまま質問できます。アプリに同梱のガイドから答え、保存済みのチャットとは分けて扱い、該当する設定へ案内します。 Apple 製デバイスのために • リスニングライブラリ、音声メモ、テキストノート、クイックアクションのウィジェット • Siri、ショートカット、App Intents、Mac のメニューバー、自分で変えられるキーボードショートカット • 対応するローカルモデルで Apple のハードウェアアクセラレーションを利用 • モデルは本体、外付けドライブ、共有ボリュームのいずれかに保存 • Mac ではメッセージアプリに接続し、決めたルールに沿ってモデルが返信を下書きまたは送信 • 表示言語は英語、オランダ語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、ポルトガル語、繁体字中国語 EULA: https://www.apple.com/legal/internet-services/itunes/dev/stdeula/

バージョン 1.48.0 では、AIブラウザ、中断されても続くチャット、MCP サーバーが加わり、モデルとメモリをこれまで以上に細かく扱えます。 • AIブラウザ: タブ、プロファイル、履歴、ダウンロード、セッションの復元でウェブを見て、開いているページの読み取り、作業の手伝い、操作を現在のモデルに頼めます。サイトから何が見えるのかを示し、アプリの外で何かが変わる前に確認を求めます。 • 最後まで終わるブラウザ作業: 作業を始める前にモデルを切り替えられ、エージェントの動きを分かりやすい記録で追えます。Mac では作業パネルの幅を変えられます。ページの読み取りと動作の確認が良くなり、同じところを回り始めたときはアプリが気づくので、長いページや複雑なサイトでも結果が安定します。 • 中断されても続くチャット: 画面を移動しても返答は続き、必要なら接続し直します。次のプロンプトは Send Next か Stop & Send で並べておけます。同じ入力を固定したまま、複数のモデルを比較できます。 • Agent Profiles、スケジュール、MCP: 残り続けるエージェント用の作業場所を作り、好きなときに実行するか、対応する作業をスケジュールに載せられます。リモートの MCP ツールサーバーを接続し、コードを実行しない、確認済みの AI Skills を追加できます。どのツールを使うかは自分で決めたままです。 • エージェントごとの設定: Flow Agent の各ステップとサブエージェントに、それぞれの温度とコンテキスト長を設定できます。会話の既定値をそのまま受け継ぐこともできます。 • モデルの保存場所をひとつに: チャット、埋め込み、音声認識、読み上げのモデルが使っている容量をまとめて確認できます。途中で止まったダウンロードを再開し、重複、旧版、未完了、参照されていないファイルを安全に見直せます。 • 扱いやすくなったグローバルメモリ: 専用の設定画面で、検索、絞り込み、固定、編集、削除、取り消しができます。AI がメモリを変えたいときは、ツールと同じように確認を求めます。 • 復帰が速くなりました: 直前のチャットモデルをすぐに読み込み直せます。読み上げが一時的に音声エンジンを借りたり、再生後にモデルを戻すときも、会話はそのまま使えます。 • ヘルプ、設定、ツール: アプリヘルプが普通の言い方の質問や比較をより正しく理解し、サポートの下書きを開けるメールアプリが増え、設定の各項目の表示が速くなり、ローカルの GGUF と MLX モデルがツール呼び出しをより確実に認識します。