與生成式AI共存-基於安全、可控、有效目標發展雲端AI知識顧問平台
在金融業積極推動「雲端轉型」的浪潮中，2022 年底 ChatGPT 的爆紅為我們帶來了新的思考契機：如何在既有的 Cathay 6R 雲端方法論基礎上，引入生成式 AI，打造一個「安全、可控、有效」的雲端 AI 知識顧問平台。這次的演講，就帶大家從四大章節走過我的思考與實作歷程。
會議資訊
- 會議名稱：2023 國泰金控技術年會
- 演講時間：2023-09-20 14:40
- 相關連結：PDF簡報
一、Cathay 6R x 生成式 AI：從 Cloud Ready 到 Cloud War Room
回顧國泰從 2021 年啟動「Cloud Ready for 銀行」，到 2022 年 H2 進入「Cloud War Room」階段，Cathay 6R 平台與多場技術年會、雲端大會分享，奠定了豐富的雲端經驗與知識輸出基礎。2022 年底 ChatGPT 全球爆紅之後，我們即刻思考如何將生成式 AI 與成熟的 6R 方法論融合，於是「雲端顧問 Chatbot」的點子誕生，期望能回答任何與雲端相關的問題，並深度結合 Cathay 6R 精髓。
二、安全的 SaaS：防範公開網頁版的風險
生成式 AI 帶來便利的同時，也衍生了隱私與機密外洩的風險。例如：
- 義大利監管機構因隱私疑慮封鎖 ChatGPT 網頁版；
- Samsung 員工將機密資料貼入 ChatGPT 導致外洩；
- redis‑py 的快取 Bug 甚至可能暴露其他用戶的信用卡資訊。 因此，我們選擇依託三大公有雲（AWS Bedrock、Azure OpenAI、GCP Vertex AI）的 SaaS 方案，並從架構層面落實：私有網路 (VPC)、加密傳輸、權限控管、軌跡紀錄、資料防護與金鑰管理，將安全貫穿於平台打通的每一環節。
三、可控的 LLM：模組化 Prompt 與知識庫結合
為了讓 Chatbot 在金融場景中表現「可控且一致」，我們將 Prompt 設計拆解成四大維度──角色、用途、格式、注意事項──並固定回答原則（條列式、200 字以內、僅回答雲端議題），避免跑題與非預期創意偏離。同時，透過 Vectorstore 將文本切塊、生成 Embeddings，再結合 LLM 進行相似度搜尋，打造一座「AI 的圖書館」。雖然初期也踩到「找不到文本」、「出處不明」、「簡體字混用」等坑，但在導入 LangChain 開源工具後，整體流程更為順暢，問答品質顯著提升。
四、未來的 Multi‑Cloud：驗證最佳 SaaS 組合
展望未來，我們將持續在 AWS、GCP、Azure 與 Open Source 模型之間，比較各家 DLP、防護、Knowledge Base、AI Platform 的優勢，探索最佳的 SaaS 組合方案。具體應用場景包含：
- 雲端知識解惑：技術文章與雲端管理辦法諮詢；
- 架構評估設計：雲端架構範本生成與評估；
- 環境實作測試：IaC 程式碼範本生成與品質審查。
最終，這些功能都將匯聚至「Cloud Ready Platform」—一站式加速雲端轉型的顧問平台，從上雲前到上雲後，提供全面的策略、架構、資安、治理與實作支援。
小結 這份簡報彙整了我在國泰雲端策略與生成式 AI 結合中的探索與實踐，從歷史脈絡到安全防護，從可控對話到多雲組合，最終落腳於一個可商用、可擴充的雲端 AI 知識顧問平台。期待未來持續驗證並優化，與各位一同見證「雲端＋AI」的無限可能！