AI Gateway 為企業提供統一的 AI 服務管理平台，其核心價值包括：

• 統一接入多款 AI 模型與服務
• 提供身份認證與存取控制機制
• 滿足企業安全與合規要求
• 實現使用量監控與預算管理
• 支援智能負載平衡與故障轉移
• 執行資料使用及安全策略
• 支援橫向擴展與新模型快速接入

借助 AI Gateway，企業能以更安全、高效且可控的方式管理 AI 基礎架構。

AI Gateway 提供跨模型統一接入、智能路由及自動故障轉移能力，其核心功能包括：

• 治理與安全：透過身份認證、存取控制及策略執行機制，實現企業級治理與安全保障。
• 成本優化：透過速率限制（Rate Limit）、Token 配額管理及預算控制機制，降低 AI 使用成本。
• 全面可觀測性：即時追蹤使用情況、效能指標及營運成本。
• Agent 工作流支援：支援複雜 Agent 流程編排及多步驟任務執行。

作為企業 AI 基礎架構的統一控制平面（Control Plane），AI Gateway 能協助企業以更安全、更具效益的方式實現 AI 規模化部署。

虹科 AI Gateway 提供完整的 AI 服務部署與管理能力，專為企業級場景而設。其主要特點包括：

• RBAC、OAuth 2.0 與 API Key 多層安全認證
• 請求速率限制（Rate Limit）與智能負載平衡
• 自動故障轉移機制
• 內置安全防護與內容治理能力
• 完整的日誌、分析與可觀測能力
• 多雲架構支援
• 即時推理能力

對於需要兼顧安全、治理、效能與成本控制的企業而言，虹科提供了一套靈活且可擴展的 AI 基礎架構解決方案。

傳統 API 網關主要負責通用網絡請求的轉發與管理。而 AI 網關則專門針對大語言模型（LLM）場景設計，能夠處理許多傳統 API 網關無法高效完成的任務，例如：

• Token 統計與管理
• Prompt 快取
• 模型路由
• 模型故障轉移
• AI 使用成本控制
• 模型治理與安全策略執行

因此，AI 網關不僅是流量入口，更是企業 AI 應用的統一治理與控制中心。

AI Gateway 直接部署於應用系統與模型服務之間的生產推理鏈路中。

作為統一控制平面，它負責：

• 模型路由
• 安全控制
• 權限治理
• 可觀測性監控
• 成本管理
• Agent 與工具編排

整個過程無需修改應用程式邏輯，即可獲得統一的 AI 管理能力。

支援。企業級 AI Gateway 不僅支援託管模型，亦支援 LLaMA、Mistral 等自託管或開源模型。

這些模型可部署於 VPC、本地資料中心、混合雲或獨立隔離環境中，同時共享與託管模型一致的策略控制、安全治理與可觀測能力。企業無需針對不同模型建構獨立管理體系，即可實現統一維運與治理。

AI Gateway 提供即時使用量監控、Token 級追蹤、配額管理及預算控制能力。 同時，AI Gateway 亦可透過以下方式持續優化 AI 開支：

• 智能模型路由
• 請求快取
• 自動故障轉移
• 流量調度優化

透過減少對高成本模型的不必要調用，有效避免推理費用失控，並持續提升資源利用效率。

AI Gateway 能夠統一執行企業資料治理策略，包括：

• 個人敏感資料（PII）遮蔽／脫敏
• 請求過濾
• 日誌審計與存取控制
• 資料處理規則管理

當部署於 VPC、本地資料中心或獨立隔離環境時，所有敏感資料始終保留於企業邊界內，不會離開組織控制範圍。這能協助企業在保障資料安全的同時，符合行業監管與合規要求。

AI Gateway 透過以下機制實現團隊級隔離與治理：

• 基於角色的存取控制（RBAC）
• 團隊級 API Key 管理
• 配額控制
• 使用量追蹤與審計

多個團隊可以安全共享模型資源與基礎架構，同時保持獨立權限、成本透明與責任追蹤能力。

Playground 是建基於 AI Gateway 之上的互動式開發環境。開發人員可在將模型接入生產系統前，快速測試不同的：

• 大語言模型（LLM）
• Prompt 提示詞
• MCP 工具
• 推理配置參數

於 Playground 中，用戶可以：

• 從 Models 頁面選擇已接入模型
• 調整 Temperature、Max Tokens 等參數
• 配置流式輸出（Streaming）
• 設定 Stop Sequences 等生成規則

系統將即時展示：

• 模型回應結果
• Token 消耗情況
• 回應延遲數據

開發團隊無需編寫程式碼即可完成模型評估與參數調優，大幅縮減實驗週期。

當測試結果符合要求後，完整配置（包括 Prompt、模型、工具、安全防護及結構化輸出定義）均可儲存為可重用範本，並於團隊內部共享。

Playground 亦能自動生成 OpenAI SDK、LangChain 等框架的程式碼範例，協助開發團隊快速將驗證通過的方案部署至生產環境。

透過虹科 AI Gateway，所有模型服務與工具均統一接入至同一個 API 層。開發團隊無需分別管理 OpenAI、Anthropic、Amazon Bedrock、自託管模型及其他模型供應商的 SDK、API 地址與存取憑證。應用程式只需連接單一 Gateway Endpoint，並使用一個 Gateway Key 即可存取所有模型資源。

AI Gateway 將根據配置自動完成模型路由，因此即使更換模型或切換供應商，亦無需修改應用程式碼。

這種統一接入能力不僅涵蓋模型，更擴展至：

• MCP（Model Context Protocol）工具生態
• A2A（Agent-to-Agent）協議
• Agent 工作流

從而實現模型、工具與 Agent 的統一編排與管理。

對於開發人員而言，這代表：

• 更簡單的系統整合方式
• 更統一的開發體驗
• 更清晰的安全管理模型

供應商 Key 只需於網關中集中維護一次，所有存取權限均透過 RBAC 與策略體系統一管理。當新的模型或供應商接入時，亦可立即透過同一套介面供全組織使用。

於 AI Gateway 中，Prompt、工具及 Agent 配置均被視為可管理資產。開發團隊可在 Playground 中定義以下配置，並將其儲存為命名範本：

• System Prompt
• User Prompt
• 輸入變數
• MCP 工具
• 安全防護
• 模型參數

每個範本均支援多版本管理，團隊成員可安全迭代與優化配置，避免覆蓋他人的修改內容。 當新版本出現問題時，亦可快速復原至歷史版本。

因此，AI Gateway 實際上為企業提供了一套統一的 Prompt 與 Agent 配置管理平台。當特定配置通過驗證並準備推廣使用時，即可發佈為 Agent App。

虹科 AI Gateway 的安全防護機制同時作用於輸入與輸出兩個階段，實現縱深防禦（Defense-in-Depth）。

輸入階段 在請求發送至模型之前，系統將自動檢測：

• 個人敏感資料（PII）
• Prompt 注入攻擊
• 違規內容
• 禁止主題

並根據企業策略執行：

• 攔截
• 脫敏／遮蔽
• 替換
• 內容轉換

輸出階段 在模型生成回應後，系統會再次進行安全審查，檢測：

• 有害內容
• 偏見內容
• 幻覺輸出（Hallucination）
• 策略違規行為
• 敏感資料洩漏風險

並根據策略決定：

• 傳回結果
• 修改結果
• 拒絕輸出

AI Gateway 亦可整合：

• OpenAI Moderation
• AWS Guardrails
• Azure Content Safety
• Azure PII Detection

等現有安全服務，同時支援透過設定檔或 Python 程式碼編寫企業自定義規則。

由於所有安全策略均於網關層統一執行，安全與合規團隊能夠以一致、可審計的方式落實組織級 AI 使用規範，特別適用於醫療、金融、保險等強監管行業。

Agent App 是建基於 AI Gateway 建構、可直接交付予最終用戶使用的 Agent 應用。

與 Playground 不同，Agent App 提供簡潔且受控的互動介面。業務團隊、測試人員或企業內部用戶可直接體驗 Agent 的真實運行效果，而無需接觸底層 Prompt、工具配置或模型參數。

同時：

• Prompt 配置保持鎖定
• 工具權限受到嚴格控制
• 安全防護持續生效
• 模型路由策略統一管理

這使 Agent App 非常適用於：

• 用戶驗收測試（UAT）
• 內部業務試點
• 高層示範
• 企業 Copilot
• 知識問答助手

產品團隊與平台團隊既能開放體驗，又能保持對配置與治理規則的完全掌控。