生成式 AI 已逐漸進入你、我的日常工作，但對政府機關、金融、醫療、半導體等高度重視資料保密的單位來說，導入 AI 並沒有想像中容易。公文、病歷、客戶資料、授信紀錄與研發文件涉及個資或營業機密，通常不能直接上傳至外部雲端服務，也讓許多高機密產業即使想導入 AI，仍面臨資料安全與法規限制。
現在，大數據股份有限公司宣布推出《KEYLM》智慧幕僚解決方案，將自有繁體中文領域語言模型 BIG10、AI Agent 平台及 NVIDIA DGX Spark 運算設備整合於地端，主打資料不出域、回答可溯源及執行過程可稽核，希望讓政府機關及重視隱私的產業，也能在內部環境使用生成式 AI。
《KEYLM》是什麼？整合平台、模型與本地算力
《KEYLM》並不是單一聊天機器人，而是一套包含 AI 平台、繁體中文模型與運算硬體的軟硬整合方案，主要由三個部分組成：
第二層是大數據公司自有的 BIG10 領域語言模型。大數據公司表示，BIG10 運用公司累積超過 10 年、逾 65 億筆繁體中文語料打造，強調對台灣在地語境、政府機關用語及繁體中文內容的理解能力。
第三層則是 NVIDIA DGX Spark 地端運算設備。KEYLM Box 採用搭載 NVIDIA GB10 Grace Blackwell 超級晶片及 128GB 統一記憶體的 DGX Spark，讓 AI Agent 平台、BIG10 模型與知識庫檢索能在同一台設備上運行。
不只政府備詢，也可延伸至金融、醫療與高科技產業
《KEYLM》此次首先鎖定政府機關的決策支援及備詢需求。政府資料經常分散在公文、會議紀錄、報表、答詢稿及不同業務系統中，遇到臨時備詢或政策說明時，承辦人員往往必須花費大量時間搜尋及整理。
透過《KEYLM》，機關人員可用自然語言查詢內部資料，系統再依據授權文件產生回答、摘要或報告，並標示資料來源。其主要功能包括即問即答、即時產出報告、輿情感知及知識治理。
不過，需要本地端 AI 的並不只有政府機關。金融機構可以將其應用於內部規範、授信資料與法遵文件查詢；醫療單位則可用於院內知識、醫療行政文件及作業流程管理；半導體與製造業也能將 AI 導入研發資料、維修文件及內部技術知識庫。
一台 DGX Spark 就能承載完整 AI 智慧幕僚
過去企業部署地端生成式 AI，通常需要建置 GPU 伺服器、機房環境及相關管理系統，初期成本與維護門檻相對較高。《KEYLM》則將平台、模型及知識檢索功能整合在桌邊大小的 NVIDIA DGX Spark 中，訴求以單一設備完成地端部署。
大數據公司表示，在 DGX Spark 上完成推論優化後，相較於未經優化的同級開源模型，記憶體用量約可減少一半，回應速度則提升約一倍。不過，新聞稿並未進一步公布比較模型、測試情境、同時使用人數及完整效能數據，實際表現仍會依模型規模、文件數量與使用負載而有所不同。
採用 NVIDIA NeMo 強化模型微調與 Agent 治理
在技術架構方面，《KEYLM》採用 NVIDIA NeMo Framework 進行模型資料整備、去識別化、領域微調與評測。大數據公司指出，其中資料去識別化能力，對涉及個資及機敏內容的政府、金融與醫療場景尤其重要。
AI Agent 工作流程則導入 NVIDIA NeMo Agent Toolkit，用於建置、執行及優化 Agent，並提供效能分析、可觀測性與評估功能，讓 Agent 的執行行為能夠被追蹤及稽核。
本地端 AI 讓生成式 AI 走進更重視隱私的場域
過去生成式 AI 的普及，主要由雲端服務帶動，但隨著企業開始把 AI 用於內部資料，市場關注的重點也逐漸從「模型能做什麼」，轉向「資料放在哪裡」、「誰能使用」以及「出了問題能否追查」。
《KEYLM》的推出，反映生成式 AI 正從一般文案與公開資料查詢，進一步走向政府決策支援、金融法遵、醫療行政與企業內部知識管理等高隱私場景。
對大數據公司而言，《KEYLM》也不只是推出另一套 AI 聊天工具，而是將累積超過 10 年的繁體中文數據資產、BIG10 領域語言模型、KEYLM Agent Platform 與 NVIDIA DGX Spark 整合成完整地端解決方案，藉此降低政府及企業導入私有 AI 的技術門檻。
未來，高機密產業是否會全面轉向本地端 AI，仍取決於導入成本、模型準確度、同時使用人數及實際案例成果；但對資料無法上雲的政府、金融、醫療及高科技產業來說，能將 AI 留在自己的設備與內部網路中，已成為導入生成式 AI 的重要途徑。
