MCP Gateway(MCP 閘道器)讓企業集中管理 AI Agent 可以發現與呼叫的工具。要改善 LLM 的上下文膨脹,還要讓 Agent 按任務選用工具,並限制工具回傳的欄位與筆數。以排查付款失敗為例,Agent 可以先依時間、專案與錯誤類型查詢 Jira,再讀取少數相關工單並附上工單編號。這樣能縮小送進模型的資料範圍,也讓使用者更容易核對答案。
為什麼更大的上下文視窗仍會遇到推理瓶頸?
上下文視窗決定模型單次能處理多少 Token,但任務表現也取決於輸入長度與證據的使用方式。Du 等人在 EMNLP 2025 Findings 發表的長上下文研究指出,在受測的數學、問答與程式任務中,即使模型取得所有相關證據,較長的輸入仍可能降低表現。
企業常遇到兩種輸入膨脹。第一種是一次塞入整批工單、日誌或文件。第二種是把大量工具定義與多輪呼叫結果留在上下文。工程團隊可分別限制候選工具數量、回傳欄位與筆數,讓模型優先處理能支持當前判斷的證據。
AI Agent 如何按需取用工具?以 Jira 工單查詢為例
按需取用工具的做法是先用明確條件向來源系統查詢,再把精簡結果交給模型。若要釐清最近七天的付款失敗,Agent 可以先查詢付款專案中的相關工單,只取得工單編號、標題、狀態與更新時間,再針對少數候選工單調閱必要細節。查無結果時,應回報查詢範圍並請使用者補充條件。
兩種做法的主要差異在於何時篩選資料。查詢條件越貼近任務,送入模型的結果就越容易控制。
小螢幕可左右滑動表格,查看完整比較。
| 比較項目 | 上下文填充 | 按需工具呼叫 |
|---|---|---|
| 資料如何進入模型 | 先匯出一批工單,再由模型從中找線索。 | 先篩選專案、期間與錯誤類型,再回傳相符欄位。 |
| 適用情境 | 資料範圍小且固定,任務需要通讀內容。 | 資料持續更新,且可用欄位或條件縮小查詢範圍。 |
| 測試重點 | 檢查匯出資料的時效與模型引用是否正確。 | 檢查查詢是否漏掉關鍵工單,以及重試是否拉長延遲。 |
MCP Gateway 如何簡化多個 Agent 的工具串接?
MCP(Model Context Protocol,模型上下文協定)提供標準方式,讓相容的用戶端列出並呼叫 MCP 伺服器提供的工具。當多個團隊共用工具時,MCP Gateway 可提供集中入口,管理哪些工具對哪些身分開放,並把呼叫路由至對應的 MCP 伺服器。原本由各 Agent 重複維護的部分連線設定與存取政策,就能由平台團隊集中管理。
用虛擬 MCP 伺服器組合任務所需的工具
TrueFoundry 的虛擬 MCP 伺服器(Virtual MCP Server)可以從多個已註冊的伺服器挑選工具,組成單一邏輯端點。以財務對帳 Agent 為例,可先開放查詢交易摘要與讀取異常工單,讓 Agent 取得完成核對所需的資料。發送通知、修改帳務與退款等操作可依風險另行授權。查看 TrueFoundry 虛擬 MCP 伺服器說明
虛擬端點能縮小可見的工具範圍。若同一端點仍有大量工具,應再由 Agent 應用依任務挑選工具定義後送入模型。換接後端時,平台團隊也要驗證工具名稱、輸入欄位、輸出格式與錯誤行為是否相容。
如何控管工具權限、稽核與資料流向?
企業應分別驗證呼叫者身分、工具使用權限,以及下游服務授予的資料範圍。AI Agent 可以查詢某個工具,實際能讀到的專案與欄位仍由下游服務的授權和資料政策共同決定。
個別身分授權與稽核
以建立 Jira 工單為例,若連接器支援逐使用者的 OAuth 2.0 授權,閘道器可依設定使用該使用者已授權的下游憑證,操作仍受 Jira 的專案權限與 OAuth 授權範圍限制。無人值守的排程則可使用獨立、權限受限的服務身分。建立工單等寫入操作可加上人工確認,並記錄呼叫者、工具、時間、授權判定與執行結果。
地端或 VPC 部署的資料邊界
企業可將敏感查詢留在地端或虛擬私有雲(VPC),例如在內部資料庫先彙整各錯誤類別的件數,再讓模型分析趨勢。若模型部署在外部,應在回傳前檢查欄位、套用適當的資料遮罩,並確認模型請求、工具結果及稽核日誌各自會送到哪裡。外部模型只需要彙總值的任務,可在工具輸出層排除個人識別資料與交易明細。
企業如何驗證 MCP Gateway 的導入成效?
先選一項高頻、可核對的唯讀任務,用同一批問題比較既有流程與按需工具流程。測試要涵蓋正常查詢、空結果、逾時,以及不同角色查詢同一筆受限資料的情況。
此表為情境試算,節省比例與倍數採用原圖假設。可左右滑動查看完整內容。
| 成本因素 | 無 Gateway | 使用 TrueFoundry MCP Gateway | 預計節省 |
|---|---|---|---|
| Token 成本 | 上下文填充(Context Stuffing):AI Agent 每次執行需要讀取 50k Token 的文件來尋找答案。成本為每次執行約 $0.50。 | 工具使用(Tool Use):AI Agent 查詢工具,僅取得 500 Token。成本為每次執行約 $0.005。 | 推理成本節省 99% |
| 維護成本 | N×M 混亂:當 Jira API 輪替金鑰時,必須更新 10 個不同的 AI Agent 程式碼庫。時間為每個工具每月 5 小時。 | 1×N 控管:在 Gateway Vault 中只需輪替一次金鑰,10 個 AI Agent 都會立即完成更新。時間為每月 5 分鐘。 | DevOps 維運工作量減少 98% |
| Security Risks | 共用金鑰:開發人員將「Admin」金鑰硬編碼到 AI Agent 程式碼中。一次外洩=全部資料遺失。 | 身分注入(Identity Injection):Gateway 注入使用者專屬的 OAuth Token,AI Agent 只能看到使用者有權查看的內容。 | 無法用金錢衡量(風險緩解) |
| 開發成本 | 重複造輪子:每個團隊都編寫自己的「Slack Connector」Python 腳本。 | 重複使用:只需連線一次 Slack MCP Server,50 個團隊即可立即重複使用。 | 上市時間提升 10 倍 |
- 建立基準。固定模型、測試資料版本與成功條件,記錄每個任務的輸入及輸出 Token、完成時間、模型成本和答案引用正確率。
- 限制工具與結果範圍。只開放任務所需的唯讀工具,設定查詢時間窗、回傳欄位與筆數上限,並測試未授權呼叫能否被拒絕。
- 比較每件成功任務的成本。以整批任務的模型與工具費用(含失敗及重試)除以成功件數,並比較端到端 P95 延遲(約 95% 的測試執行落在此時間內)及任務成功率。
- 評估整合維運。估算閘道器、基礎設施與監控成本,並測量更新共用連接器、輪替憑證與追查故障所需工時。
即使單次模型輸入變短,額外的模型輪次和工具重試仍可能抵銷節省。以整個任務的成本與成功率做決策,才能判斷是否值得擴大部署。
MCP Gateway 常見問題
MCP Gateway 和 AI Gateway 有什麼差別?
MCP Gateway 聚焦 MCP 伺服器及工具的連線、授權與呼叫紀錄。AI Gateway 通常還涵蓋模型路由、用量追蹤與成本控管。若同時要管理模型請求和工具呼叫,可評估兩層的整合方式。
用了 MCP Gateway,還需要 RAG 嗎?
可以搭配使用。RAG(檢索增強生成)適合從文件索引找出相關段落,MCP 工具則可查詢即時系統或執行受控操作。企業也可以把檢索服務封裝成 MCP 工具,讓 Agent 按任務取用。
導入 MCP Gateway 後,Token 成本一定會下降嗎?
節省幅度取決於候選工具數、回傳內容大小、模型計價與呼叫輪次。請以同一批任務比較總費用和成功率,並把工具費、重試與閘道器維運納入估算。
工具逾時後,AI Agent 可以直接重試嗎?
唯讀查詢可設定有限次重試。建立工單或發送通知等寫入操作逾時時,應先查詢操作是否已完成,或在下游支援時使用冪等鍵,避免重複寫入。
評估企業的模型與工具治理架構
如果您的團隊同時管理多家模型供應商與企業內部工具,可從模型路由、用量與成本控管,以及 MCP 工具存取權限三方面評估整合需求。