On-Device AI: 音声アシスタント

On-Device AIは、iPhone、iPad、Mac、Apple Vision Proで使える、チャット、音声、文書、リスニング、ノート、調査、自動化のためのプライベートなワークスペースです。ローカルモデルは完全にオフラインで動作できます。必要なときだけクラウドプロバイダーやWebツールを利用できます。 プライバシーを標準で保護 会話、文書、文字起こし、ローカルモデルの実行はデバイス内に保存されます。タスクに必要なときは、オンラインプロバイダーやWebツールを有効にできます。 • Llama、Gemma、Phi、Qwen、DeepSeek、Mistral、Nemotronなどのローカルモデルを使用 • デバイスに合ったテキスト、画像、推論、ツール対応モデルを選択 • モデルを内部ストレージ、外部ドライブ、共有ボリュームに保存 • 音声認識、テキスト読み上げ、OCR、文書検索をローカルで実行 • クラウドへの接続は必要なときだけ リスニングライブラリを作成 文書や記事を、どこでも読んだり聞いたりできる自分専用のキューにまとめられます。 • PDF、Markdown、テキスト、読みやすいWeb記事、スキャンした本を追加 • 撮影したページをスキャンまたは読み込み、デバイス上のOCRを修正して、各ページと読み上げテキストを一緒に保存 • RSS、Atom、JSONフィードを登録。おすすめのフィードからも始められます • 記事を「次に再生」に追加し、読書や再生を続きから再開 • Appleの音声または対応するローカルニューラル音声を選択 • 再生状況の確認、読み上げの調整、スリープタイマーの設定 話す、文字起こしする、音声を作る アイデア、会議、文章をプライベートに記録できます。 • Macの音声入力、iPhoneとiPadの音声キーボードを使用 • 会議、講義、インタビュー、音声ノートを録音して文字起こし • 音声を読み込み、別のモデルや言語で再文字起こし • Apple Speech、Whisper、Parakeet、Nemotron、Qwen3-ASRなどから選択 • 入力した文章や画像から取り込んだ文章を音声に変換 • Appleの音声、Kokoro、PocketTTS、Qwen 3 TTS、CosyVoice、VibeVoiceで音声を作成 • 文字起こしをテキスト、字幕、Markdownで書き出し 自分のAIとチャット ローカルまたはクラウドモデルに自分の資料を追加し、タスクに合わせて会話を進められます。 • 文書や画像を選択、貼り付け、ドラッグしてチャットに追加 • 元の会話を残したまま、任意のメッセージから分岐 • タスクに合わせてモデル、ツール、役割、推論設定を変更 • 専門エージェントやサブエージェントで複数段階の作業を実行 • 会話全体をコピーまたは書き出し プライベートなナレッジライブラリ ファイル、ノート、チャット、文字起こしをAIが検索できるコンテキストとして活用できます。 • PDF、テキスト、Markdown、コード、画像、Webコンテンツを追加 • アプリ内でMarkdownノートを作成・編集 • AIチャット、音声ノート、読み上げ項目、AI検索の結果を読み込み • 大きなライブラリを検索し、検索設定や再インデックスを管理 調査とツール 会話内でWebを検索し、ブラウザエージェントに情報を集めてもらうことも、自分で操作することもできます。計算、ネットワーク要求、文書、カレンダー、リマインダーのツールに対応。カレンダーとリマインダーでは、変更内容を適用前に表示します。 必要なときに使えるヘルプ 機能や設定についてApp Helpに質問できます。現在のモデルとOn-Device AIの内蔵ガイドを組み合わせ、ヘルプの質問を保存済みチャットと分けて整理し、必要な設定を案内します。 APPLEデバイス向け • リスニング、ボイスメモ、テキストメモ、クイックアクションのウィジェットを追加 • 再生の再開、次の項目の再生、RSSフィードの表示、ノート作成を少ない操作で実行 • Siri、Appleショートカット、App Intents、Macのメニューバー、カスタマイズ可能なキー操作に対応 • アプリの言語を選択。オランダ語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、ポルトガル語、繁体字中国語に幅広く対応 • 対応するローカルモデルでAppleのハードウェアアクセラレーションを使用 EULA: https://www.apple.com/legal/internet-services/itunes/dev/stdeula/

バージョン1.47.0では、新しいリスニングライブラリ、RSSフィード、App Help、ウィジェットが追加されました。 • リスニングライブラリ：PDF、Markdown、テキストファイル、読みやすいWeb記事、スキャンした本を、自分専用の読書・リスニングキューにまとめられます。進捗を保存し、「次に再生」を管理し、新しいスリープタイマーも利用できます。 • スキャンした本と画像内の文字：撮影したページをスキャンまたは読み込み、デバイス上のOCR結果を確認・修正して、各ページと読み上げテキストを一緒に本として保存できます。テキスト読み上げでは、画像内の文章を取り込むこともできます。 • RSSフィード：RSS、Atom、JSONフィードをアプリ内で購読できます。おすすめからフィードを探し、気になる情報源から自分のリスニングキューを作れます。 • App Help：機能や設定について、アプリ内ガイドを使う専用のヘルプチャットで質問できます。必要な設定を案内し、ヘルプの質問は保存済みチャットと分けて整理します。 • 新しいウィジェット：iPhone、iPad、Macにリスニング、ボイスメモ、テキストメモ、クイックアクションのウィジェットを追加できます。再生の再開、次の項目の再生、RSSフィードの表示、ノート作成を少ない操作で行えます。 • 多言語対応を改善：アプリ全体の翻訳範囲を広げ、言語の扱いを統一しました。ウィジェットもOn-Device AIで選んだ言語に従います。 • モデルの選択肢を追加：内蔵カタログに、Gemma 4 QAT、Devstral Small 2、Nemotron 3 Nano、Qwythos、Qwen 3.6など、すぐにダウンロードできるモデルを追加しました。 • 音声機能を改善：Kokoroで長い文章を読み上げるショートカットは、より早く再生を始められます。バックグラウンドでアプリを起動した場合も、有料モデルへのアクセスをより確実に認識します。 • 修正と調整：リスニングへの読み込み、ページ編集、OCR確認、リーダーのレイアウト、再生への移行、フィード検索、App Helpの画面遷移を改善しました。