100 億+
次
支援大規模推論
提供高吞吐量與可擴充的推論服務能力， 因應正式環境中的大量 AI 請求。
TrueFoundry
宏虹科技｜企業 AI 解決方案
ENTERPRISE AI GATEWAY
TrueFoundry 企業級 AI 閘道器 統一模型存取，掌握安全與成本
將分散的模型服務整合至統一入口，集中管理存取權限、 使用量與路由策略，協助企業建立可監控、可治理的生成式 AI 應用環境。
多模型整合
統一 API 存取與模型路由
權限與治理
集中權限控管與稽核紀錄
用量與成本
追蹤 Token 用量與預算
彈性部署
PLATFORM OVERVIEW
TrueFoundry 平台介紹
從模型串接，到企業級 AI 管理
了解平台操作與管理流程，探索模型服務、 應用部署與 AI 工作流程的整合方式。
TrueFoundry 客戶與使用團隊
BUILT FOR AI AT SCALE
為正式環境的大規模 AI 應用而打造
從大量推論請求到多模型管理，兼顧處理效能、 服務可用性與成本控管，支援企業持續擴展 AI 應用。
30
%
優化 AI 使用成本
透過智慧路由、批次處理與預算控管， 減少不必要的 Token 消耗，優化推論支出。
99.99
%
提升服務穩定性
透過集中式路由與自動故障切換， 降低模型供應商服務中斷對 AI 應用的影響。
1,600+
統一多模型管理
透過單一 AI 閘道器串接多種模型， 集中管理模型存取、使用權限與治理策略。
數據來源：TrueFoundry 官方公開資訊。 實際效能、成本節省與服務可用性依部署環境、使用情境及服務方案而異。
UNIFIED LLM API ACCESS
統一大型語言模型 API 存取
透過單一 AI 閘道器整合模型服務，簡化生成式 AI 技術架構。
- 串接 OpenAI、Claude、Gemini 等模型，支援對話、文字生成、向量嵌入與重排序。
- 集中管理 API 金鑰、團隊身分驗證與多模型工作負載。
OBSERVABILITY
掌握模型用量、效能與成本
透過可觀測性資訊，追蹤 AI 閘道器的運作狀態。
- 監控 Token 用量、延遲、錯誤率與請求量，集中檢視請求及回應日誌。
- 依模型、團隊、地區及中繼資料篩選指標，協助問題排查。
QUOTAS & ACCESS CONTROL
集中管理配額與存取權限
透過統一策略，控管團隊及服務的模型使用。
- 依使用者、服務或端點設定請求速率限制，並設定成本或 Token 配額。
- 透過角色型存取控制（RBAC）與集中規則，管理服務帳號及 AI Agent 工作負載。
LOW-LATENCY INFERENCE
低延遲閘道器，支援即時推論
將閘道器部署於推論路徑，因應大量請求與流量尖峰。
- 官方列出低於 3 ms 的內部處理延遲；此數值不等於模型完整回應時間。
- 部署位置可貼近推論服務，支援即時對話、RAG 與 AI 助理。
ROUTING & FALLBACKS
智慧路由與自動故障切換
調度模型請求，降低單一模型服務異常造成的影響。
MODEL TRAFFIC MANAGEMENT
依延遲路由
選擇回應較快的可用模型。
加權負載平衡
依權重分配模型請求。
備援模型切換
請求失敗時改用備援模型。
地理感知路由
依地區需求調整路由策略。
SELF-HOSTED MODELS
整合自架模型與部署環境
將開源模型納入企業管理的基礎架構。
- 支援 Llama 等模型，以及 vLLM、SGLang、KServe、Triton 推論框架。
- 透過 Helm 管理自動擴縮、GPU 排程與部署，支援 VPC、混合雲及實體隔離環境。
MCP INTEGRATION
整合 MCP 工具與 AI Agent
透過 MCP 串接企業工具，建立受控的 Agent 工作流程。
- 連接 Slack、GitHub、Confluence、Datadog，並註冊內部 MCP 伺服器。
- 針對工具呼叫套用 OAuth 2.0、RBAC 與中繼資料策略。
SECURITY GUARDRAILS
以安全護欄落實 AI 使用政策
依企業安全與法遵需求，設定閘道器防護規則。
- 整合個人識別資訊（PII）過濾與有害內容偵測。
- 自訂安全護欄，執行企業的內容與資料使用政策。
ENTERPRISE SECURITY & GOVERNANCE
讓企業 AI 部署，
兼顧資安與治理
將 TrueFoundry 部署於企業的雲端或地端基礎架構， 集中落實模型存取、資料保護與安全政策。
- 整合個人識別資訊（PII）過濾與有害內容偵測， 執行企業自訂的安全政策。
- 依資安與法遵需求設定安全護欄， 統一管理 AI 應用的使用規範。
資安與法遵
以 SOC 2、HIPAA 與 GDPR 相關要求為基礎， 提供企業資料安全與隱私保護能力。
身分驗證與權限治理
支援單一登入（SSO）、角色型存取控制（RBAC） 與稽核日誌，集中管理使用者身分及存取權限。
企業級技術支援
TrueFoundry 提供全天候技術支援， 並依服務等級協議（SLA）約定回應時效， 協助企業維持關鍵 AI 應用的穩定運作。
DEPLOY ON YOUR TERMS
彈性部署，
配合企業既有 IT 環境
TrueFoundry 支援 VPC、地端資料中心、實體隔離環境與多雲部署， 讓企業依基礎架構、資料管理與安全需求，選擇適合的部署方式。
掌握資料主權與環境隔離
將平台部署於企業管理的環境， 依組織需求落實資料存取、環境隔離與治理政策。
FLEXIBLE DEPLOYMENT
EXPLORE TRUEFOUNDRY
延伸探索：Agent 與 MCP 治理
AI Agent 執行與治理
Agent Gateway
集中管理 AI Agent 的執行、存取權限與工作流程追蹤， 掌握模型及工具呼叫，讓企業 Agent 應用更容易管理。
了解 Agent 閘道器企業工具串接與存取管理
MCP Gateway
集中管理 MCP 伺服器、工具串接與身分驗證， 統一控管 AI Agent 的工具存取權限，建立可稽核的使用流程。
了解 MCP 閘道器FREQUENTLY ASKED QUESTIONS
AI 閘道器常見問題
從基本概念到 TrueFoundry 的模型整合、成本管理與安全治理， 快速了解企業導入 AI 閘道器的重點。
基本概念
什麼是 AI 閘道器（AI Gateway）？
AI 閘道器是企業應用與 AI 模型服務之間的管理層， 提供統一存取、身分驗證、路由與使用量管理。
AI 閘道器如何運作？部署在什麼位置？
AI 閘道器位於應用程式與模型供應商之間， 在轉送請求時執行驗證、政策檢查、模型選擇與用量記錄。
AI 閘道器與一般 API 閘道器有什麼差異？
一般 API 閘道器管理通用 API 流量； AI 閘道器則進一步處理 Token 計量、模型路由、 提示詞快取與模型備援等 AI 專用需求。
企業在什麼情況下需要 AI 閘道器？
當多個團隊共用模型、串接多家供應商， 或需要集中管理權限與預算時，可評估導入 AI 閘道器。
AI 閘道器可以取代大型語言模型嗎？
不可以。大型語言模型負責產生內容； AI 閘道器負責管理模型請求、存取政策與使用情況， 兩者在架構中扮演不同角色。
TrueFoundry 產品與導入
TrueFoundry 如何整合多家模型供應商？
TrueFoundry 透過統一 API 串接模型， 集中管理供應商金鑰與存取設定， 減少應用端各自維護串接的負擔。
如何追蹤 Token 用量並控制 AI 成本？
可追蹤 Token、成本與請求量，設定配額及預算， 並透過模型路由與快取策略優化支出。
模型服務失敗時，能否自動切換？
可以依設定切換至備援模型，並搭配路由與負載平衡。 需先配置可用的備援服務及存取憑證。
如何管理多團隊權限並保護敏感資料？
可結合 RBAC、團隊金鑰、稽核日誌與配額管理， 並配置 PII 遮罩、請求過濾及安全護欄。
是否支援自架模型與地端部署？
支援自架與開源模型，以及 VPC、地端、混合雲和實體隔離部署。 若串接外部模型 API，仍需評估資料傳送路徑。
如何透過 MCP 串接企業工具？
可註冊 MCP 伺服器，讓 AI Agent 存取企業工具， 並透過 OAuth 2.0、RBAC 與政策控管工具呼叫。
Playground 能協助哪些開發與測試工作？
Playground 可測試模型、提示詞與 MCP 工具， 比較回應、Token 用量及延遲， 並儲存組態供團隊重複使用。
正在評估企業 AI 閘道器？
與宏虹討論模型串接、部署環境及權限治理需求。
BUILD WITH TRUEFOUNDRY
從模型到工具，規劃企業 AI 的下一步
正在評估 AI 模型整合、MCP 工具串接或 AI Agent 應用？ 告訴我們您的使用情境、部署環境與權限管理需求， 讓宏虹協助您釐清 TrueFoundry 的導入方向，規劃合適的整合與治理方案。