AI 基礎設施工程師 (AI Infrastructure Engineer)

AI職業名稱

AI 基礎設施工程師（AI Infrastructure Engineer）

AI 基礎設施工程師負責建構與維護大規模 AI 訓練與推論系統的底層環境，包括 GPU 叢集管理、分散式計算框架與自動化管線。他們確保 AI 模型能高效運行於雲端或內部資料中心，支援高併發訓練、即時預測與成本優化，是 AI 團隊的「後勤工程師」。

硬體與叢集管理
- 規劃 GPU/TPU 叢集配置（如 NVIDIA A100/H100），優化資源分配與冷卻系統。
- 監控硬體健康、故障排除與容量擴充。
分散式訓練基礎設施
- 部署分散式訓練框架（如 DeepSpeed、Horovod、Ray Train），支援多 GPU/多節點訓練。
- 設定資料並行、模型並行與管線並行，提升訓練速度。
MLOps 與自動化管線
- 建置端到端 AI 管線：資料攝取 → 訓練 → 驗證 → 部署 → 監控。
- 使用 Kubeflow、MLflow、Airflow 實現自動化工作流程與實驗追蹤。
模型服務與推論優化
- 部署高性能推論服務（如 Triton Inference Server、vLLM、TensorRT）。
- 模型量化、剪枝、蒸餾與 ONNX 轉換，降低延遲與記憶體需求。
雲端與混合基礎設施
- 管理多雲環境（AWS、GCP、Azure），使用 Spot Instance 與預留實例節省成本。
- 建置混合雲架構，支援內部資料中心與公有雲彈性擴充。
監控、安全與合規
- 部署 Prometheus、Grafana、ELK Stack 監控叢集資源使用與模型效能。
- 實作資料加密、存取控制（RBAC）、模型治理與法規遵循（GDPR）。

初階（0-2年經驗）：HK$420,000 - HK$720,000 /年
中階（3-5年經驗）：HK$720,000 - HK$1,200,000 /年
高階（6年以上經驗）：HK$1,200,000 - HK$2,400,000+ /年
（視金融科技、大型企業或 AI 獨角獸，以及 Kubernetes/GPU 叢集經驗而定；包含年終獎金與 RSU，高於一般 DevOps。）

系統與雲端工程
- 精通 Linux 系統管理、Kubernetes、Docker 容器化。
- 雲端認證（AWS/GCP Solutions Architect、CKA/CKAD）。
AI 訓練基礎設施
- NCCL、MPI、DeepSpeed、Megatron-LM 分散式通訊。
- GPU 程式設計（CUDA、ROCm）、混合精度訓練。
DevOps 與自動化
- Terraform、Ansible 基礎設施即程式碼（IaC）。
- CI/CD 管線（GitHub Actions、Jenkins）、GitOps（ArgoCD、Flux）。
監控與觀測性
- Prometheus、Grafana、Jaeger、OpenTelemetry 全棧監控。
- 日誌管理（Fluentd、Loki）、警報系統。
程式設計
- Python、Bash 腳本，熟悉 Go/Rust（高性能服務）。
- 系統程式設計與效能調優經驗。
軟技能
- 系統思維，能預見瓶頸並主動優化。
- 跨團隊溝通，翻譯 AI 需求為基礎設施解決方案。