タグ: kvキャッシュ

1件の記事

  • Mac mini上でmlx-optiqのOptiQサーバーがKV cacheを圧縮しながらHermes Agentへ高速に応答している概念図

    OptiQで1.85倍速を実測。Hermes AgentのKV cache運用ガイド【2026年版】

    mlx-optiqでHermes Agentのバックエンドをmlx_lm.server(DWQ)からoptiq serveへ置換した実測記録。同条件A/Bで1.85倍速・低メモリを確認した手順、採用しなかったMTPの話、出力が途中で切れる症状の切り分け方、KV cache設定の生成・差し替えまでを解説します。