專案背景與現況
在許多企業實際營運過程中,隨著銷售規模成長與業務多元化,原有的資料庫架構與維運方式常常跟不上新的需求。以本次電商客戶的實際案例來說,面臨了多重資料設計與營運挑戰。首先,既有系統以 Store Procedure 進行 ETL 與 mapping,導致邏輯分散且高度耦合,每當有新需求或異動時,修改成本極高,甚至需要同時變動多個相依表格。更麻煩的是,隨著 opt-in 相關需求增加,每新增一個欄位就得同步調整多個資料表,過程繁瑣,容易產生資料不一致與遺漏。特別是客戶的資料處理是於半夜執行 SQL 指令,因第三方的架構問題,導致資料匯入必須先全部刪除再全部重新匯入讓資料為最新的資料進行後續資料分析,腳本執行全部時間約莫 30 分鐘,非常耗時。
除了維護困難之外,原始結構也無法直接支援多 Data Lake 或 Power BI 報表的彈性需求。每次異動若直接針對主表(如 ec_master_orders)操作,不僅容易影響營運穩定,也限制了報表的靈活擴充空間。再者,缺乏一套標準化的 mapping 結構,讓跨系統、跨部門的報表容易產生錯誤對照,資料治理與溝通變得非常耗時。
針對這些問題,玖駿資訊團隊提出了以資料治理與架構解耦為核心的創新解決方案。我們建議為客戶新設一個獨立的報表專用 schema(如 SalesReport),將所有關鍵報表資料自原始表格抽離出來,並在新 schema 下建立一層「專用報表層」,這樣未來任何報表需求的擴充都不需再動到營運主表,大幅降低維護風險。
在這個新架構下,原本 Power BI 報表所需的欄位,例如訂單、門市、付款狀態、項目狀態等,皆被整理進新 schema(如 OrderDetails 表),並且將所有標準化需求(如 Payment Status、Store、Payment Method、Line Item Status)獨立出來設計成多個 mapping table。這些 mapping table 不僅讓資料結構更清晰,也提供了多來源、多語系與未來彈性擴充的可能。
為了避免影響既有系統運作,玖駿團隊協助規劃新舊並行的運作機制。新 schema 上線初期,舊有結構仍可平行運作,由客戶的 Data Lake Team 控制資料遷移的最佳時機點,讓整個切換過程平滑無痛。而當 Data Lake 的 update event 等同步問題解決後,所有資料來源將可直接指向新 schema,最終逐步 sunset 舊有結構,真正實現資料治理的現代化。
在實作細節上,玖駿團隊與客戶密切合作,繪製出清楚的 ERD 與流程圖。新的 OrderDetails 表專責承載所有訂單主要資訊;每個 Mapping Table(Store、Payment Status、Payment Method、Line Item Status)都以 mapping_id 與主表關聯,為資料的國際化、多來源、多語系處理預留充足空間。更進一步,Exchange Rate 表設計讓多幣別轉換變得輕鬆無痛,對國際營運企業更是一大助力。
這樣的設計帶來了多重效益。首先,維護效率大幅提升,每當有新欄位或 mapping 規則變更,只需異動單一標準表即可,無需再同步多個 backup table。其次,資料品質與一致性更高,跨系統、跨語系的資料對齊精確且透明。最重要的是,原有營運主表幾乎不需異動,讓系統風險與維運壓力降到最低。同時,所有 Power BI 與下游數據報表系統只需連結新 schema,即可彈性擴充與調整,企業未來要導入更多資料湖、多資料源或支援國際化時,也能從容應對。
在本案過程中,玖駿資訊不僅負責技術架構與資料設計,更主動協助客戶定義資料流、輔導 BI 與 IT 團隊進行遷移規劃,確保系統升級平滑完成。全程與客戶 Data Lake、Power BI 等不同團隊溝通協作,讓資料治理從紙上談兵真正落地執行。最終,企業順利完成千萬級數據搬遷,打造出未來可持續發展、維護容易、報表彈性強大的資料平台。
玖駿資訊如何協助客戶完成千萬筆銷售資料遷移
在這次專案中,玖駿資訊協助客戶於僅僅三週內,完成了龐大資料的全面清理、重分類與重建作業。當時,客戶原有的資料處理流程相當耗時且高風險——每當需要更新資料,必須在半夜停機時段執行 SQL 腳本,先將資料庫內所有訂單相關資料全部刪除,再重新匯入數千萬筆最新資料,以確保後續數據分析的準確性。這套流程不僅需要嚴密的時程配合,每次全量重匯也需耗費近 30 分鐘,且每次匯入的壓力都極高。
針對這樣的痛點,玖駿資訊為客戶設計全新 schema 與資料處理機制。新的架構下,資料分層更清楚、mapping 標準化,維運團隊只需將新進資料自動匯入新 schema,無需再進行全量刪除與重建。最終,原本需要半夜大動作重匯、長達半小時的資料處理,優化為只需 5 分鐘即可完成增量資料的同步,大幅提升整體資料運營效率與系統穩定性,為日後即時資料分析與 BI 應用打下穩固基礎。
面對上千萬筆銷售訂單與複雜的多表格資料結構,傳統的資料遷移容易面臨效能瓶頸、資料一致性風險與維護困難。玖駿資訊團隊憑藉豐富的企業資料治理經驗,規劃並執行了下列解決方案:
- 規劃標準化新資料架構
首先,玖駿資訊協助客戶設計出全新的資料 schema(如 SalesReport / OrderDetails),將複雜的原始訂單資料分層解耦,將門市、付款狀態、項目狀態等所有異動資訊以 mapping table 標準化,徹底消除多表格同步的高維護風險。 - 高效資料遷移流程設計
針對數量龐大的歷史訂單資料,玖駿資訊設計分批遷移與驗證腳本,採用 ETL 流程,結合資料分段、分批寫入、與異常自動回報機制,讓資料可於不停機的情境下逐步搬遷,確保舊系統與新系統並行期間,營運零中斷、數據不遺漏。 - 資料一致性與完整性驗證
資料遷移後,團隊協助客戶進行自動化比對檢查,包含筆數、各欄位加總值、異常值檢查等多重機制,並協助 Power BI 與 Data Lake 團隊進行串接測試,確保每一筆資料在新架構下都能完整正確被運用。 - 配合營運時程,無縫上線
為配合客戶營運高峰期,玖駿資訊特別規劃夜間低峰進行主要遷移,並於白天維持雙軌運行,待全部資料驗證完成後,逐步切換所有下游系統指向新 schema,最終實現平滑 sunset 舊有結構。
透過這一系列的專業規劃與技術實作,客戶不僅完成千萬級數據遷移,更大幅提升後續資料治理能力、報表彈性與維護效率,為企業未來數位轉型奠定堅實基礎。

