https://benzhub.github.io/tags/ai-gateway/Recent content in Ai-Gateway on BenzHubHugozh-TWSat, 05 Sep 2026 00:00:00 +0000https://benzhub.github.io/post/cloudflare/036-ai-gateway/Sat, 05 Sep 2026 00:00:00 +0000https://benzhub.github.io/post/cloudflare/036-ai-gateway/<blockquote> <p>上一篇《<strong>AI.run() 與常見任務</strong>》,我們用同一個 <code>env.AI.run()</code> 跑遍了文字、向量、影像、語音與工具呼叫。但當這些 AI 呼叫進到生產環境,新的煩惱就浮現:重複的 prompt 每次都重算很浪費、成本無從觀測、失敗沒重試、還可能想同時代理 Workers AI 與 OpenAI/Anthropic。這一篇的主角 <strong>AI Gateway</strong>——一層架在<strong>應用程式與 AI 供應商之間</strong>的統一閘道——正是來解決這些問題的。我們會替所有 AI 請求加上<strong>快取、限流(rate limiting)、重試 / fallback、可觀測(logs / analytics / costs)與多供應商路由</strong>。</p> </blockquote>