MLXでMacの上にエージェントAIを動かす

WWDC 2026で、AppleのエンジニアがMac上のローカルエージェントに、MLXリポジトリの最近のプルリクエストを取得し、変更内容を要約し、注意すべき点を指摘するよう依頼しました。モデルは推論し、GitHub CLIを呼び出し、差分を読み、要約を生成しました。ネットワークに触れたのはgitコマンドだけで、モデルは完全に彼のハードウェア上で動作したのです。¹ このデモこそ、本稿の主旨そのものです。エージェントのループ、つまりモデルが判断し、ツールを呼び出し、結果を観察し、また判断するという部分が、いまやMLXを使ってMac上でローカルに動くようになりました。クラウドも、APIキーも、トークンあたりの課金もありません。そしてAppleは、その物語の残りも同時に出荷しました。このループを複数のMacにわたってスケールさせる方法、新しい種類の攻撃に対してエージェント機能をセキュアにする方法、そしてループが静かに誤った動作をしたときにデバッグする方法です。

本稿では、WWDC 2026の4つのセッションをたどります。これらは合わさることで、Mac上のローカルエージェントAIを単なる技術デモではなく、現実のエンジニアリングの対象にしてくれます。以下の内容はすべて、これらのセッションから直接得たものです。

TL;DR

• MLXは、4層からなるスタックを通じて、エージェントのループ全体をMac上でローカルに動かします。基盤となるMLX、モデルを扱うMLX-LM、OpenAI互換のHTTPサーバーであるMLX-LM Server、そしてその上にOpenAIのchat completionsプロトコルを話す任意のエージェントです。¹
• セットアップは3ステップです。MLX-LMをpip installし、ツール呼び出し対応のモデルでmlx_lm.serverを実行し、エージェントのベースURLをlocalhostに向けるだけです。¹
• 1台のMacでは足りないとき、MLXはThunderbolt 5上でRDMAとAppleのオープンソースライブラリJACCLを使い、モデルを複数のMacに分散します。これにより1兆パラメータ級のモデルを動かし、4ノードのクラスタでは推論とファインチューニングをおよそ3倍に高速化します。²
• エージェント機能は新たな攻撃対象、すなわち間接プロンプトインジェクションを開きます。Appleの緩和策は決定論的なガードレールに重きを置いています。Foundation Modelsの.onToolCallによる確認と.historyTransformによるスポットライト、そしてApp Intentsのリスクベースの確認とロック画面認証です。³
• Xcode 27のFoundation Models Instrumentは、ループを観測可能にします。リクエストごとのレーン、モデルの思考連鎖のツリービュー、そしてサイレント障害や遅い推論を捉えるために必要なメトリクス（Time to First Token、Tokens per Second、Total Latency）です。⁴

ローカルエージェントスタック（セッション232）

MLXチームのAngelosが、2:42から3ステップのセットアップを解説します。

多くの開発者が知っているチャット体験では、作業が人間側に戻ってきます。セッションはこう表現しています。「あなたは言語モデルにプロンプトを送る。モデルは応答を返す。その応答に基づいて何かをする必要があるなら、コマンドを実行する、ファイルを確認する、エラーを修正する、それはあなたの仕事だ」¹ エージェントはそのギャップを埋めます。エージェントはモデルと対話して何をすべきか判断し、ツールを呼び出して実行し、結果を観察し、次のステップのためにモデルへ戻ります。ユーザーからエージェントへ、エージェントからモデルへ、エージェントからツールへ、タスクが完了するまで循環するのです。

このループがApple siliconの上で興味深いのは、そのすべてがローカルで動く点です。MLXはこの能力を、下から順に4層として提示します。計算、Metalによるアクセラレーション、メモリを扱う「Apple silicon専用に作られた、私たちのオープンソースの配列フレームワーク」であるMLX、Hugging Faceからモデルを読み込み、実行し、量子化し、ファインチューニングするためのMLX-LM、構造化されたツール呼び出しと推論モデルのサポートを備え「ローカルモデルを標準的なAPIを通じて公開するOpenAI互換のHTTPサーバー」であるMLX-LM Server、そして最上層には、Xcodeであれ、OpenCodeであれ、Piエージェントであれ、カスタムスクリプトであれ、OpenAIのchat completionsプロトコルを話す任意のエージェントです。¹ この標準インターフェースこそが支柱となる選択でした。「どんなエージェントフレームワークもそのまま動作する」のであり、Ollama、LM Studio、vLLMといったツールはすでにMLXとMLX-LMの上に構築されています。¹

セットアップは3ステップです。1回のpip installでMLX-LMをインストールします。ツール呼び出し対応のモデルでサーバーを起動します。

mlx_lm.server --model <a-tool-calling-model>

そして、エージェントのベースURLをlocalhostに設定して、ローカルサーバーへ向けます。セッションが述べるとおり、「エージェントは、モデルがクラウドではなくあなたのMac上で動いていることを知らないし、気にもしない」のです。¹ OpenCodeの場合、URLがlocalhostでモデル名がサーバーの期待する値に一致するローカルプロバイダーを定義し、そのうえでOpenCodeにすべてでそのローカルモデルを使うよう指示します。

興味深いのは、MLXがエージェントワークロードに対して特にどう実力を発揮するかです。セッションは3つの課題を挙げています。1つ目はプロンプト処理です。「エージェントのセッションは通常、数十万トークンに及び、そのほとんどは生成されたものではない」¹ モデルはツール出力を受け取るたびに、さらに推論する前にその新しいコンテキストをすべて処理し、そのコストはループ全体を通じて繰り返し発生します。M5チップ専用のNeural Acceleratorは行列乗算をM4の4倍速くし、MLXの専用カーネルと相まって、「これはほぼそのままプロンプト処理の高速化に変換され」、特別な引数もコード変更も必要ありません。¹ 2つ目の課題は並行性です。エージェントはサブエージェントを生成し、MLX-LM Serverは継続的バッチングで同時リクエストを処理し、それらを動的にまとめることで、サブエージェントが「キューで待たされて止まる」ことがないようにします。¹ 3つ目の課題はモデルのサイズで、ここから次のセッションが引き継ぎます。

Angelosは、読み取って報告するだけにとどまらないデモで締めくくりました。空のXcodeプロジェクトから、彼はエージェントにiPad向けのSwiftUIお絵描きアプリを作るよう依頼しました。エージェントはディレクトリを調べ、計画を立て、コードを書き、xcodebuildを使ってコンパイルし、自身のエラーを修正し、約2分で動くアプリを作り上げ、さらに依頼に応じて丸い端点を追加するよう反復しました。¹ 最後のデモでは、同じ実行中のMLXサーバーを、ローカルにホストされたチャットプロバイダーとしてXcodeのIntelligence設定に組み込みました。これによりXcode自身が、仕込まれたバグを見つけて修正できたのです。「ローカルAIとは、あなたのコードが決してMacから出ていかないということです」¹

複数のMacへのスケール（セッション233）

Tatianaが、2:21から4台のMacによるクラスタを一歩ずつ構築します。

やがて、1台のマシンでは手狭になります。MLXチームのリサーチサイエンティストであるTatianaはこう表現しました。「最終的には、1台のマシン上のメモリ、計算、帯域幅が制約になる」² セッション232で取り上げた象徴的なケースは、そもそも収まらないモデルです。最新のDeepSeekモデルは「なんと1.6兆ものパラメータを持ち、重みだけで800GB超のメモリを必要とする」のです。¹ セッション233は、その作業を自分の所有するMacにわたって分散する方法を深掘りします。

分散MLXの土台となるスタックには3つの要素があります。インターコネクトとトランスポート。macOS 26.2から、Thunderbolt 5上でRemote Direct Memory Access（RDMA）がサポートされ、「CPUとオペレーティングシステムのオーバーヘッドの大半を避けながら」、あるマシンのメモリから別のマシンのメモリへデータを直接移動します。² 通信バックエンド。JACCLは「Appleが構築したオープンソースの集合通信ライブラリ」で、Thunderbolt上のRDMAで動作し、トランスポートを自分で管理することなく集合プリミティブを提供します。これは「機械学習に限定されず」「MLXなしでも構築でき」、あらゆる分散ワークロード向けにC++ APIを公開しています。² MLXはその上に乗り、クラスタ全体の低レイテンシな協調にJACCLを使います。

Tatianaは4台のM3 Ultraからクラスタを構築しました。トポロジーが重要なのは、通信時間がレイテンシ（操作ごとの固定コスト）とトランスファー時間（メッセージサイズとともに増大する）に分かれるからです。JACCLは、最も低いレイテンシのために「すべてのマシンが他のすべてのマシンと直接つながる」メッシュと、各ノードが2つの隣接ノードとつながるリングをサポートします。リングでは、隣接ノードごとに複数のケーブルを引いて帯域幅を増やすためにポートが空きます。メッシュとして配線すると、JACCLは「メッセージサイズと通信操作に応じて最適なトポロジーを自動的に選び、レイテンシが重要なときはメッシュを、帯域幅が重要なときはリングを」選びます。² 設定でRDMAを有効にし、それからJSONのホストファイルを指すmlx.launchでジョブを起動します。ヘルパースクリプトmlx.distributed_configがそのホストファイルを生成し、--auto-setupを付ければThunderboltネットワーク自体も構成してくれます。²

クラスタ全体でモデルを実行するのは、1台のマシンで実行するのとほぼ同じです。同じmlx_lm.chatコマンドをmlx.launch --hostfileでラップするだけで、「MLX LMがモデルをシャーディングし、分散推論を協調してくれる」のです。² 並べて比較すると、270億パラメータのQwen 3.6は、4台のM3 Ultra上で「1台のマシンのほぼ3倍のレートで」トークンを生成しました。² MLXは2つのシャーディング戦略をサポートします。パイプライン並列（深さで分割、通信は単純だが高速化はなし）と、テンソル並列（幅で分割、すべてのマシンが同じトークンを同時に処理して高速化するが、レイヤーごとに頻繁な通信が発生し、それが「メッシュトポロジーが不可欠な理由」となる）です。² テンソル並列がデフォルトです。セッションでは、1兆パラメータのKimi 2.6（8ビットで約1テラバイトの重みがあり、「1台のM3 Ultraには収まらないが、4台にわたれば収まる」）をクラスタ全体で実行しました。² 同じアプローチはファインチューニングも高速化します。mlx_lm.loraによるデータ並列のLoRAトレーニングは、1台のM3 Ultraの毎秒約180トークンを、クラスタ上では毎秒約600トークンへと「3倍超の高速化」をもたらしました。² MLXは、分散ワークフローをアプリに組み込むために、Python、Swift、C++を通じて同じプリミティブを公開しています。

ループをセキュアにする（セッション347）

Willyが4:01から間接プロンプトインジェクションを紹介し、Akshayが11:55からフレームワークAPIを取り上げます。

モデルにツールを呼び出す能力を与えることは、1つの扉を開けることになります。Willyはこう表現しました。「LLMは、強力でありながら騙されるリスクを抱えた、新しい確率的エンジンをあなたのアプリケーションの中に持ち込む」³ 新しいリスクは間接プロンプトインジェクションであり、セッションはこれを「制御フローを乗っ取る意図をもって、モデルに提供された追加コンテキストに埋め込まれた指示」と定義しています。³ セッションの例題アプリLoose Leafには、カレンダーと友人のフィードを読み取り、お茶を注文できる「ティーパーティを企画する」機能があります。攻撃はこうです。ユーザーが自分のカレンダーを添えてパーティの計画を依頼すると、カレンダーのイベントには、代わりに機密のユーザーデータを削除するようモデルに指示する、仕込まれた命令が含まれています。³

インジェクションは2つの効果を生みます。データポイズニングは「実行されるアクションのパラメータに攻撃者が影響を与えること」で、母親宛てのメッセージを攻撃者宛てに変えてしまいます。アクションポイズニングは、攻撃者が「どのアクションを実行するかに影響を与える」もので、このメールを要約せよという要求を、メールを添えて悪意あるURLを開く方向へ誘導します。³ セッションはその危険を、Simon Willisonの「致命的な三要素（Lethal Trifecta）」に根ざして説明します。ユーザーが最もリスクにさらされるのは、エージェントシステムがプライベートデータへのアクセス、信頼できないコンテンツへの曝露、外部と通信する能力を組み合わせたときであり、これは「副作用を伴うあらゆるアクションのリスク」へと一般化されます。³ その枠組みは正直です。「間接プロンプトインジェクションの解決は、活発な研究領域である」のであり、だから現実的な目標は、自分のアプリのリスクを理解し、それを緩和することなのです。³

その手法は、脅威モデリングの演習です。まず、プロンプトに供給されるすべてのもののデータフロー分析を行い、「外部のエンティティから来るあらゆる入力」を信頼できないものとして印を付けます。Loose Leafの場合、それはカレンダーの内容と友人のフィードを意味します。³ 次に、エージェントのアクションとその副作用の棚卸しをします。お茶を注文するツールは金銭的リスクを伴い、フィードに投稿するツールはデータ流出のリスクを伴い、一見無害な抽出タイマーでさえもリスクがあります。なぜなら、そのオプションのラベルが「プロンプトインジェクションに、後の攻撃のためのさらなる指示を書き込ませる余地を与えうる」からです。³ Appleが表明する好みは、「決定論的な緩和策をベースラインとして重視する。そのセキュリティ保証は監査しやすく、論理的に検討しやすいからだ」というもので、その上に確率的な緩和策を重ねます。³

それからAkshayがAPIを示しました。Foundation Modelsにおいて、ライフサイクルイベント修飾子は「セッション実行の特定のライフサイクルポイントで決定論的に発火するコールバック」であり、セキュリティのチェックポイントとして使えます。.onToolCall修飾子はエグゼキューターがツールを実行する前に走り、「このコールバックがエラーをスローすれば、そのツールは決して実行されない」ため、「確認を強制するのに最適な場所」となります。現在のツールが金銭関連のものかどうかを確認し、そうであればまずユーザーの確認を求めるのです。³ .historyTransform修飾子は「推論のためにトランスクリプトがモデルにレンダリングされる前に発火」し、信頼できないツール出力をスポットライトのデリミタで包み、機密のセグメントを[REDACTED]のプレースホルダに置き換えることで、モデルがそれを見る前にPIIを伏せられます。³ 1つ注意点があります。これらの変換は「現在の推論イテレーションのみにスコープされる」ため、呼び出しごとに再適用するか、あるいは永続させたい変換には@SessionPropertyアノテーションを使います。³

App Intentsを通じてSiriと統合するアプリには、2つのシステムガードレールが適用されます。確認は「リスクベース」かつ「コンテキスト依存」です。インテントがスキーマを採用すると、そのスキーマのリスクメタデータを継承し（写真の削除は破壊的、データの流出はリスクが高い）、Risk Evaluationシステムはその静的なメタデータと「システムの動的な状態」を組み合わせて、実行前にユーザーに尋ねるかどうかを判断します。³ 2つ目はロック画面認証です。Siriはロックされたデバイスでも到達可能なので、インテントのauthenticationPolicyを.requiresAuthenticationに設定して、ロック中は破壊的なアクションが走らないようにします。スキーマのデフォルトポリシーは「より厳しくする方向にのみ」上書きでき、弱める上書きはビルドエラーになります。³

ループをデバッグする（セッション243）

Erikが、1:58から自身のCraftアプリでサイレントなエージェント障害を診断します。

ループの柔軟性は、同時にそのデバッグ上の問題でもあります。AI Tools EngineerのErikはこう述べました。「従来のコードは予測可能だ。LLMは非決定論的で、同じ入力が異なる出力を生みうる」⁴ 彼は、従来の開発には存在しない3つの課題を挙げました。確率的な出力（だから「標準的なユニットテストは破綻し」、代わりに品質と意図を評価する）、モデル間の通信、そして観測可能性です。「マルチモデルのパイプラインで何かが壊れたとき、どこで間違ったのかを知るのは非常に難しい」⁴ Xcode 27のFoundation Models Instrumentは、まさにその最後の課題に答えるために存在します。

Erikは自身のCraftアプリで実演しました。そこではブレインストーミング機能が2つの命令セット、ブレインストーミングとチュートリアル生成を使い、ブレインストーミングのセットはGenerateCraftIdeaToolとSwitchToTutorialModeToolを提供します。⁴ そのトレースでは、機能が失敗していました。チュートリアルに切り替わるべきところで、ひたすらアイデアを出し続けていたのです。Instructionsレーンがすぐにその顛末を物語りました。「セッション全体で1つの命令セットしかアクティブでなかったが、機能は2つを使うはずだった。つまり引き継ぎの途中で何かがおかしくなった」⁴ すべてを「セッション、リクエスト、モデル推論、命令、プロンプト、応答」へと整理するツリービューが、根本原因を浮かび上がらせました。「プロンプトはswitchToTutorialModeツールを参照しているが、そのツールはこの命令には実際には構成されていない」⁴ モデルはエラーをスローすることなくツール呼び出しを続けていました。「これはサイレント障害だった」のであり、最も捕まえにくい種類です。⁴ 欠けていたツールをツールセットに追加するとそれは直り、再トレースでは2つの異なる命令セットがアクティブになり、switchToTutorialModeツール呼び出しのあとで引き継ぎが正しく起きていました。⁴

このInstrumentは、パフォーマンスも読み解けるようにします。Model Inferenceレーンは、入力プロンプトの処理に黄色のバーを、応答生成にオレンジのバーを使います。⁴ 最適化を動かすメトリクスは3つあります。Time to First Token（「高いTime to First Tokenは、人々が空白の画面を見つめていることを意味する。これを減らすには、プロンプトを短くする」）、Tokens per Second（「異なるプロンプト構成にわたってパフォーマンスをベンチマークし、変更後のリグレッションを捉える」ため）、そしてTotal Latency（「人々が最も直接的に感じる数値」で、部分的な結果をより早くストリーミングすることで体感上は短縮される）です。⁴ 運用上の注意が1つあります。このInstrumentは「あなたのデバイスからプロンプトと応答のデータを取得し、それには機密情報が含まれうる」ため、本番ではロギングはオフですがトレースの間だけオンになり、トレースファイルは安全な場所に保管します。⁴

どう始めるか

4つのセッションは、すでにあなたが所有しているハードウェアで実行できる一連の流れに組み合わさります。

1. ローカルループを立ち上げる。 MLX-LMをpip installし、まずはセットアップを検証するために小さなツール呼び出し対応のモデルでmlx_lm.serverを実行し、エージェントのベースURLをlocalhostに向けます。エージェントにファイルを書かせたりビルドを走らせたりする前に、まずは読み取って報告するタスクから始めましょう。¹ いざ書き込ませる段になったら、その作業を行う隔離された場所を与えます。container machinesは、エージェントにMac上の高速で永続的なLinux環境を与えます。VMで隔離され、ホームディレクトリがマウントされているため、ビルドやインストールはホストに対してではなく、本物の境界の内側で実行されます。
2. 1台のMacで足りないときだけスケールする。 モデルがメモリに収まらない、あるいは推論が遅すぎる場合は、MacどうしをThunderbolt 5でつなぎ、設定でRDMAを有効にし、mlx.distributed_configでホストファイルを生成し、同じコマンドをmlx.launchの下で実行します。速度のためにはテンソル並列（デフォルト）を、それが必要とする低レイテンシのためにはメッシュトポロジーを選びましょう。²
3. エージェント機能を出荷する前に脅威モデリングする。 信頼できないコンテキストの供給源と、すべてのアクションの副作用を残らず挙げます。副作用のあるツールには.onToolCallの確認を、信頼できないツール出力には.historyTransformのスポットライトと伏せ字を加えます。App Intentsについては、各インテントのリスクメタデータを見直し、破壊的なアクションがロック解除されたデバイスを要するようauthenticationPolicyを設定します。³
4. 信頼する前にプロファイリングする。 Xcode 27のInstrumentでFoundation Models機能をプロファイリングし、InstructionsとModel Inferenceのレーンからサイレント障害を読み取り、Time to First Token、Tokens per Second、Total Latencyを使って遅いステップを見つけます。⁴

セッション232の内容はすべて「オープンソースで、いますぐ利用できる」のです。¹

FAQ

本当にAIエージェントを丸ごとMac上で動かせますか？

はい。WWDC 2026のセッション232は、MLXを通じてエージェントのループ全体がローカルで動く様子を実演しています。モデルが推論し、ツールを呼び出し、結果を観察し、反復し、本当にネットワークを必要とするツール呼び出しだけがマシンの外へ出ます。スタックはMLX、MLX-LM、OpenAI互換のMLX-LM Server、そしてその上にOpenAIのchat completionsプロトコルを話す任意のエージェントです。¹

エージェントをローカルのMLXモデルにどうつなげますか？

3ステップです。MLX-LMをpipでインストールし、ツール呼び出しに対応するモデルでmlx_lm.serverを起動し、エージェントフレームワークのベースURLをlocalhost上のローカルサーバーのアドレスに設定します。エージェントはこのローカルサーバーを、クラウドのLLM APIとまったく同じように扱います。MLX-LM Serverがドロップイン可能なOpenAI互換のHTTPサーバーだからです。¹

モデルが1台のMacには大きすぎる場合はどうしますか？

MLXは、Thunderbolt 5でつながった複数のMacにモデルを分散します。RDMA（macOS 26.2からサポート）とAppleのオープンソース通信ライブラリJACCLを使います。mlx.launchとホストファイルでジョブを起動すれば、MLXがモデルを自動的にシャーディングします。Appleのセッションでは、1兆パラメータのモデルを4台のM3 Ultraにわたって実行し、推論とファインチューニングで単一マシンに対しおよそ3倍の高速化を確認しました。²

エージェント対応のMacアプリにとって、主な新しいセキュリティリスクは何ですか？

間接プロンプトインジェクションです。信頼できないコンテキスト（カレンダーのイベント、ソーシャルフィード、ツールの結果）に隠された悪意ある指示が、ユーザーが決して頼んでいないアクション、たとえばデータの削除や流出へとモデルを誘導します。Appleは、脅威モデリングのパスに加えて決定論的なガードレールを推奨しています。Foundation Modelsの.onToolCallによる確認と.historyTransformによるスポットライトおよびPIIの伏せ字、そしてApp Intentsのリスクベースの確認とロック画面認証です。³

サイレントに失敗するエージェントをどうデバッグしますか？

Xcode 27のFoundation Models Instrumentを使います。これはすべてのモデル推論、命令セット、プロンプト、応答をタイムラインのレーンとツリービューに取り込むので、各ステップでどのツールが利用可能だったか、そしてどこで引き継ぎがおかしくなったかを、モデルが一度もエラーをスローしないときでさえ正確に見られます。さらにパフォーマンスチューニングのために、Time to First Token、Tokens per Second、Total Latencyも提示します。⁴

Apple silicon上で自分のモデルを動かすことは、このループが立つ基盤です。MLX on Apple Silicon：Appleのではなく自分のモデルが必要なときと、Core AIでApple silicon上にモデルを動かすをご覧ください。エージェントがSwiftアプリにどう触れるかを形づくる、ランタイムとツーリングの区別はFoundation Modelsのエージェントワークフローにあります。ループが動いたら、その品質を測ることが次のステップで、AppleのEvaluationsフレームワークで取り上げています。シリーズ全体のハブはApple Ecosystem Seriesで、より広い構築の文脈はiOS Agent Development guideです。

References