大數據

改進數據質量,“臨時救火”是行不通的

廣告
廣告

對企業的IT部門來說,提升和維護數據的質量是一個永恒的挑戰。與此同時,數據的爆發式增長使這一任務變得越來越困難。此外,企業越來越依賴數據來獲取新的見解并為決策提供合理的建議。數據質量,已成為IT部門的一個重要戰場。

但對于很多IT部門來說,對數據質量的改進往往是被動性的,就像是救火:在數據質量問題出現后,我們才進行響應,從一個危機跳到另一個危機。往往是最大的問題最受關注。如果沒有一個積極的數據質量過程,數據問題就會開始增加。所以我們應制定主動數據質量改進計劃,其目標是在數據質量問題成為問題之前識別它們。

數據是任何企業的資產之一,其中的區別在于負責確保整個企業數據質量的團隊的規模。很大一部分數據不是閑置的,它們會進入多個不同的數據存儲系統。不正確的數據值就像是病毒:一旦出現,它可能就會傳播到整個組織的數據報告和其他數據存儲中。

這里有一些建議可以幫助您開始構建一個主動的數據質量改進計劃,當然這些建議并不是絕對的,但會幫助你開始思考這個過程。該計劃的目標是確保企業數據的準確性和一致性。

建立一個數據質量理念體系

像所有的組織計劃一樣,創建一個數據質量改進的理念體系,需要從組織結構的頂部開始,讓高層管理人員參與進來至關重要。需要確定負責數據質量的團隊成員,并向IT人員和業務部門宣傳數據質量改進計劃的好處,其目標是將數據質量集成到組織結構中。

合適的人掌握合適的技能

數據質量專家很難找到,而且成本可能很高,但這并不妨礙你“自我成長”。在公司里找一些對此有興趣的人員,并為他們提供學習數據質量科學的時間和相關培訓。您可以根據預算限制和您所擁有的人力資源來構建相應的項目。

沒錢沒工具?沒有關系

沒有足夠的預算來購買主數據管理(MDM)產品或數據質量工具?這當然是個很大的挑戰,但不能成為借口。筆者回顧了幾家初創公司的數據質量項目,幾乎可以稱作是文檔、流程、程序庫和開源產品的大雜燴。如果組織需要,您也可以通過使用一些開源的MDM和數據質量工具,如Talend、Pimcore和OS DQ等等,創建一個強大的、主動的數據質量改進計劃。

數據質量始于產生和獲取

為了開發高質量的數據集,您必須在產生或從外部數據源獲取數據時遵循最佳實踐方法。與信息使用者溝通,確定他們如何使用數據,并確定治理數據的業務策略。然后,您可以開發一個標準,并構建數據定義規則來保證一致性。

大多數數據庫提供一組約束來強制執行數據一致性。對于以編程方式執行數據一致性的非數據庫平臺,建議研究其他一些存儲公共代碼、數據質量規則和最佳實踐的機制。

強烈建議各種規模的組織認真評估MDM產品套件。MDM平臺的流程框架和工具將成為數據質量程序的基礎,幫助您更快地建立和實施企業范圍內的單一事實來源。

維持數據質量

執行前瞻性的數據質量檢查,將成為改進計劃的核心部分。其過程應該是(1)識別、(2)優先級、(3)評估、(4)糾正,即:識別數據和主體,對數據的重要性進行優先級排序,評估最重要的數據資產,糾正不準確的數據值。

當您識別出不正確的數據值時,您的目標應該是確定可能造成的影響的嚴重程度和影響范圍,并確定問題的根源。然后采取必要的步驟來修復不正確的數據值,并解決產生問題的根本原因。

目前市面上有許多數據質量產品可以幫助您進行分析,建議在選型之前結合權威機構的調查報告了解每家提供商的優劣。

構建具有前瞻性數據質量計劃,永遠都不算晚。如果計劃合理且完善,就能很大程度上減少數據質量問題,更好地保護和使用企業的數據資產。

原文作者:Chris Foot

我還沒有學會寫個人說明!

從云計算轉向邊緣計算

上一篇

全國斷網測試成功后,脫離全球的俄羅斯互聯網會逐漸自我隔離嗎?

下一篇

你也可能喜歡

改進數據質量,“臨時救火”是行不通的

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃
重庆百变王牌开奖结果 亿富配资 百度金融理财平台 天猫配资 互联网理财平台有什么好的推荐吗 怎么在银行买银子 600001上证指数新浪财经钢铁股市最新消息 股票配资选股 众昇策略 场外配资 航宇汇金 杠杆炒股平台_杨方配资 浙江雷曼期货配资公司 理财产品排行榜 股票融资门槛 炒股口决 如何股票融资