MLXHub: ローカルAIチャット

端末内でAIを実行。あなたのデバイス。あなたのデータ。 MLXHubは、Apple Siliconとmlx-swift推論エンジンを搭載し、オープンソースの言語モデルをiPhoneとiPadで動かします。会話が端末の外に出ることはありません。 デバイス間の分散推論（実験的機能） 同じWi-Fiネットワーク上にある複数のApple Siliconデバイスのメモリを束ねて、どの1台でも単独では収まらないモデルを実行できます。1台がホストになり、他のデバイスが参加してモデルの各層を分担します——どのデバイスもモデル全体を保持しません。ホストは各デバイスに、そのデバイスが担当する層に必要なファイルだけを送信し、キャッシュして次回の起動を速くします。 ご利用にあたって：すべてのデバイスが同じWi-Fiに接続している必要があります。初回は両方の画面に表示されるコードを照合して各デバイスを承認します。分割の前に、MLXHubが各デバイスのメモリを計測します。これは実験的機能です。分散生成は動作しますが、実行が停止したりデバイスが脱落したりすることがまだあり、すべてのモデルアーキテクチャを分割できるわけではありません。効果が最も大きいのは大きなモデルです。分散推論への参加はどのデバイスでも無料で、ホストになるにはMLXHub Plusが必要です。 強力なモデルとチャット LLMや画像対応のVLM(視覚言語モデル)を端末内でダウンロードして実行できます。テキストや写真を送るだけで、モデルはサーバーに触れることなく応答します。 Apple Intelligence内蔵 対応デバイス(Apple Intelligenceが有効なiPhone 15 Pro/16以降)では、ダウンロード済みのモデルと並行してAppleの端末内モデルによる即時のプライベートな応答を利用できます。 あなただけのアシスタント グローバルなAgent Personalityを設定して、AIの口調やスタイルを決められます。会話ごとにシステム指示で上書きすることも可能。プロンプトの知識は不要——欲しい応答を説明するだけです。 モデルを探してインストール 1GB未満で動く0.6Bモデルから、高度な推論向けの7Bモデルまで、最適化されたモデルのカタログをご覧いただけます。色分けされたRAMバッジで、そのモデルが端末に収まるか一目で分かります。Hugging Faceを直接検索して、対応する任意のモデルをインストールできます。 ローカルLANサーバー iPhoneやiPadを、ローカルネットワーク上で動くチャットAPI互換の推論エンドポイントに変えられます。MLXHubのオプションのLANサーバーは/v1/chat/completionsを公開し、OpenCodeを動かすMacから独自のスクリプトまで、あらゆるアプリが端末のモデルを利用できます。インターネット不要。認証保護。Bonjourで検出可能。MLXHub Plusに含まれます。 Apple Silicon向けに設計 MLXHubはAppleのML基盤であるmlx-swiftを使用し、Metal GPUのフルスピードでモデルを実行します。モデルの重みは4-bit/8-bitで量子化され、iPhoneとiPadのハードウェアで最良のGB当たり品質を実現します。 プライバシー 推論は端末上で行われ、外部に出ることはありません。アカウント不要。広告なし。オプションのLANサーバーはローカルネットワーク内のみで待ち受け、初期状態ではオフになっています。MLXHubはクラッシュやモデル読み込みの失敗を検知するため、少量の匿名診断データを収集します。これは個人と紐付けられることはなく、設定でオフにできます。 利用規約(EULA):https://www.apple.com/legal/internet-services/itunes/dev/stdeula/

あなたのためのパーソナルAIプラットフォームが、リリースからわずか2か月でバージョン2.0.0へ！ アプリをもっと楽しめるよう、理解するために苦労しなくてもよい数え切れないほどの変更を加えました。 まず、同じスペースにより多くの情報を表示できるようインターフェースを磨きました。認知的な負荷を軽くするために概念を視覚的に表現し、改善の余地があった部分も洗練しました。アプリは、Metalで完全にレンダリングされたオーブだけでなく、より丁寧に作り込まれたアニメーションによっても息づきます。 実験的な機能、分散推論を追加しました！ 1台のデバイスには収まらない大きなモデルを実行できます。引き出しに眠っているiPadがありますか？ メッシュに加えましょう。パートナーのiPhoneは？ それも加えて、パズルのピースのようにデバイスをつなぎ、ますます強力な推論サーバーを組み立ててください。 以前の価値提案が明確ではなかったことは認めます。MLXHub Plusのサブスクリプションが提供していたものはかなり少なかったのですが、今日から変わります。MLXHub Plusには、LANサーバー、分散推論のホスト、無制限のモデル、アプリのカスタマイズ、そして今後も価値を提供する機能が含まれます。サブスクリプションは不要ですか？ 問題ありません。一回限りの購入も用意しています！ バージョン2.0.0には、気づきにくい内部的な変更も数多く含まれます。ときどき問題を起こしていた大半のVLMの修正、アプリが生成した部分ファイルの自動クリーンアップ、モデルのダウンロード処理の改善、より詳細なモデルページ、そしてMLXHubを最先端AIをポケットに入れて持ち歩く最高のアプリにする数多くのフレームワーク改善です。インターネットなしで、モデルが取り下げられることもなく、オレンジ色の髪にかつらのような髪型をしたある人物が、肘掛け椅子から紙とペンでアクセスを止めようとする心配もありません。 これらの新機能と、これから登場する膨大な数の変更をお楽しみください。ご質問やご提案があれば、どうぞお気軽にご連絡ください。 よろしくお願いいたします。 Juan