生成式 AI 系統測試員 職業訓練課程
生成式 AI 系統測試員 (Generative AI System Tester) 職業訓練課程 — 三小時精華班
課程簡介：
生成式 AI 系統測試員專責驗證 LLM、影像生成器等模型的穩定性、安全性與商業可用性，確保企業級部署品質。本課程於三小時內濃縮幻覺偵測、偏見審計、效能測試與自動化驗證實務，帶領學員從主觀評估到客製化測試框架，建立 RAG 系統與 Agent 應用的完整測試能力，適合轉型支援生成式 AI 產品線的測試專業人士。
課程特色
-
生成式專精測試：幻覺、偏見、拒絕率等獨特指標
-
自動化工具實戰：LangSmith、DeepEval、Promptfoo 一鍵上手
-
企業交付導向：從開發測試到生產監控全流程
課程時長
共 3 小時 (180 分鐘)
測試理論 35%、工具實作 50%、案例解析 15%
課程大綱
第一階段：生成式 AI 測試員角色與品質指標 (30 分鐘)
-
新職能定位：傳統 QA → 生成式品質專家，與開發工程師協作模式
-
生成式獨特品質維度：
-
真實性（Hallucination Rate）、一致性（Coherence）、相關性（Relevance）
-
安全性（Jailbreak Success Rate）、公平性（Bias Score）
-
效能（Latency、Token/Sec、Throughput）
-
-
測試金字塔：單元測試 → 整合測試 → E2E 測試 → 紅隊測試
-
產業標準：OpenAI Evals、Hugging Face Open LLM Leaderboard
第二階段：人工與自動化評估實作 (60 分鐘)
-
人工評估框架：
-
Likert 量表評分、A/B 測試、成對比較（Pairwise Ranking）
-
場景設計：常見問題、邊緣案例、壓力測試用例
-
-
自動化評估工具：
-
LangSmith、DeepEval、Promptfoo 測試套件撰寫
-
語意相似度（BERTScore、Moverscore）、事實性檢查（Ragas）
-
-
RAG 系統專屬測試：檢索品質、生成品質、端到端檢索生成
-
實作練習：建立 50 組測試用例並執行自動化評估管線
第三階段：安全測試與紅隊攻防 (45 分鐘)
-
安全測試矩陣：
-
越獄攻擊（DAN、Roleplay）、提示注入、間接提示（Indirect Prompt Injection）
-
PII 洩漏檢測、有害內容生成、拒絕服務測試
-
-
偏見與公平性審計：
-
群體公平性指標、職業/性別偏見測試集
-
跨文化語言偏見、多語言語料庫測試
-
-
紅隊測試方法論：攻擊樹設計、成功率計算、緩解驗證
-
實作示範：執行 LLM 越獄測試並生成安全報告
第四階段：生產監控與職涯策略 (30 分鐘)
-
生產環境監控：
-
漂移偵測（Distribution Shift）、品質下降警報
-
Weights & Biases Prompts、Phoenix OpenLLM Tracing
-
-
測試報告標準化：Model Card 品質章節、釋出筆記模板
-
職涯路徑：測試員 → 測試架構師 → AI 品質總監
-
作品集建議：測試框架 GitHub、自動化管線 Demo、安全報告範例
-
Q&A 與生成式測試實戰經驗交流
預期學習成果
完成課程後，學員將能：
-
建立生成式 AI 全維度測試框架與品質指標體系
-
熟練自動化測試工具實現大規模評估管線
-
執行安全紅隊測試與偏見審計，確保生產部署安全
-
設計監控儀表板與標準化測試報告，提升團隊交付品質
**以上AI課程由知名香港AI教學先行者 「香港AI學院」 提供課程內容及技術的支援，以確保 「AI課程」 高性價比的品質水平。
