資料工程師 (Data Engineer)

AI職業名稱

資料工程師（Data Engineer）

工作概要

資料工程師負責設計、建構與維護大規模資料管線與基礎設施，確保資料從多來源可靠流入資料湖、資料倉儲或即時處理系統。他們是資料生態系統的「水電工」，支援資料科學家、AI 工程師與業務團隊的高品質資料需求，強調可靠性、可擴展性與效能。

主要工作內容

• 資料管線設計與實作

  • 建構 ETL/ELT 管線，從資料庫、API、檔案、IoT 串流蒐集資料。

  • 處理結構化、非結構化、半結構化資料轉換與清洗。

• 資料儲存架構

  • 設計資料湖（S3、Delta Lake）、資料倉儲（Snowflake、Redshift、BigQuery）。

  • 建立分區、索引與資料壓縮策略，提升查詢效能。

• 即時資料處理

  • 使用 Kafka、Flink、Spark Streaming 建構即時資料管線。

  • 支援即時儀表板、詐欺偵測、推薦系統等低延遲應用。

• 資料品質與治理

  • 實作資料驗證、模式演進、血統追蹤（Lineage）。

  • 建立資料目錄、存取控制、資料品質監控系統。

• 基礎設施自動化

  • 使用 Airflow、Dagster、Prefect 排程與管線協調。

  • IaC（Terraform、CloudFormation）管理雲端資源。

• 效能優化與成本控制

  • 資料壓縮、分區剪枝、查詢優化降低成本。

  • 監控管線延遲、失敗率與資源使用，自動擴縮容。

• 跨團隊支援

  • 與資料科學家合作提供特徵資料，支援模型訓練。

  • 建立自助服務平台，讓分析師自行存取資料。

預計薪水（參考）

• 初階（0-2年經驗）：HK$360,000 - HK$600,000 /年

• 中階（3-5年經驗）：HK$600,000 - HK$960,000 /年

• 高階（6年以上經驗）：HK$960,000 - HK$1,800,000+ /年
  （視金融科技、大型企業或雲端遷移專案，以及 Spark/Kafka 深度經驗而定；包含年終獎金與認股權。）

必備技能與能力

• 程式設計核心

  • 精通 Python、Scala、Java，熟悉 SQL 進階查詢。

  • 大數據處理：Spark、Flink、Hadoop 生態系。

• 資料串流與管線

  • Kafka、RabbitMQ、Kinesis 即時資料串流。

  • Airflow、Dagster 工作流程協調器。

• 雲端資料平台

  • AWS（Glue、EMR、Athena）、GCP（Dataflow、Dataproc）、Azure（Synapse）。

  • Snowflake、Databricks、Redshift 資料倉儲。

• 容器與自動化

  • Docker、Kubernetes 部署管線應用。

  • Terraform、Ansible IaC 管理基礎設施。

• 資料架構設計

  • 資料湖架構、Lambda/ Kappa 架構、資料網格。

  • CDC（Change Data Capture）、資料複製。

• 軟技能

  • 系統思維，能預見資料流瓶頸。

  • 文件撰寫與知識分享，建立團隊資料文化。

常見工作領域與應用範例

• 金融交易平台

  • 即時交易資料管線、風險資料湖、監管報表。

• 電商資料生態

  • 客戶行為串流、商品目錄同步、推薦特徵管線。

• 智慧醫療系統

  • 電子病歷整合、即時監控資料、研究資料集。

• 遊戲與廣告

  • 玩家行為分析、即時廣告競價資料、A/B 測試基礎設施。

• 智慧城市與 IoT

  • 感測器資料串流、交通資料湖、環境監測平台。

典型職涯路徑

• 入門職位

  • ETL 開發工程師、後端工程師、BI 工程師。

• 中階職位

  • 資料工程師、資料平台工程師、大數據工程師。

• 高階職位

  • 資深資料工程師、資料架構師、資料基礎設施負責人。

適合什麼樣的人？

• 享受建構可靠資料基礎設施，解決「資料不可用」的痛點。

• 對大規模系統有強烈好奇，能處理複雜的資料流轉換。

• 具備工程思維，重視自動化、可觀測性與容錯設計。

• 樂於支援資料團隊，建立自助服務文化。

想招聘/入行資料工程師 (Data Engineer)?