你現在的位置:首頁 > 新聞中心
 新聞中心

  公司動態

哪些因素會影響數據質量

From:    Click:53    Time:2021-07-01

說到數據質量問題的原因,做過BI或數倉項目的小伙伴肯定都知道,這是一個業務和技術經常扯來扯去、互相推諉的問題。在很多情況下,企業都會把數據質量問題推給技術部門,讓技術部門去查找和處理。但是企業的數據質量問題真的都是技術引起的嗎,技術部門人一定會說:“這個鍋我不背!”

其實,影響數據質量的因素主要就技術、業務、管理三個方面,下面我們就來從這三方面分析下產生數據質量問題都有哪些原因。

1、技術方面

數據模型設計的質量問題,例如:數據庫表結構、數據庫約束條件、數據校驗規則的設計開發不合理,造成數據錄入無法校驗或校驗不當,引起數據重復、不完整、不準確。

數據源存在數據質量問題,例如:有些數據是從生產系統采集過來的,在生產系統中這些數據就存在重復、不完整、不準確等問題,而采集過程有沒有對這些問題做清洗處理,這種情況也比較常見。

數據采集過程質量問題,例如:采集點、采集頻率、采集內容、映射關系等采集參數和流程設置的不正確,數據采集接口效率低,導致的數據采集失敗、數據丟失、數據映射和轉換失敗。

數據傳輸過程的問題,例如:數據接口本身存在問題、數據接口參數配置錯誤、網絡不可靠等都會造成數據傳輸過程中的發生數據質量問題。

數據裝載過程的問題,例如:數據清洗規則、數據轉換規則、數據裝載規則配置有問題。

數據存儲的質量問題,例如:數據存儲設計不合理,數據的存儲能力有限,人為后臺調整數據,引起的數據丟失、數據無效、數據失真、記錄重復。

業務系統各自為政,煙囪式建設,系統之間的數據不一致問題嚴重。

2、業務方面

業務需求不清晰,例如:數據的業務描述、業務規則不清晰,導致技術無法構建出合理、正確的數據模型。

業務需求的變更,這個問題其實是對數據質量影響非常大的,需求一變,數據模型設計、數據錄入、數據采集、數據傳輸、數據裝載、數據存儲等環節都會受到影響,稍有不慎就會導致數據質量問題的發生。

業務端數據輸入不規范,常見的數據錄入問題,如:大小寫、全半角、特殊字符等一不小心就會錄錯。人工錄入的數據質量與錄數據的業務人員密切相關,錄數據的人工作嚴謹、認真,數據質量就相對較好,反之就較差。

數據作假,對,你沒看錯,就是數據作假!操作人員為了提高或降低考核指標,對一些數據進行處理,使得數據真實性無法保證。

3、管理方面

認知問題。企業管理缺乏數據思維,沒有認識到數據質量的重要性,重系統而輕數據,認為系統是萬能的,數據質量差些也沒關系。

沒有明確數據歸口管理部門或崗位,缺乏數據認責機制,出現數據質量問題找不到負責人。

缺乏數據規劃,沒有明確的數據質量目標,沒有制定數據質量相關的政策和制度。

數據輸入規范不統一,不同的業務部門、不同的時間、甚至在處理相同業務的時候,由于數據輸入規范不同,造成數據沖突或矛盾。

缺乏有效的數據質量問題處理機制,數據質量問題從發現、指派、處理、優化沒有一個統一的流程和制度支撐,數據質量問題無法閉環。

缺乏有效的數據管控機制,對歷史數據質量檢查、新增數據質量校驗沒有明確和有效的控制措施,出現數據質量問題無法考核。

影響數據質量的因素,可以總結為兩類,客觀因素和主觀因素??陀^因素:在數據各環節流轉中,由于系統異常和流程設置不當等因素,從而引起的數據質量問題。主觀因素:在數據各環節處理中,由于人員素質低和管理缺陷等因素,從而操作不當而引起的數據質量問題。


 首頁 | 關于億科 | 億科人 | 新聞中心 | 誠聘英才 | 聯系億科 |京ICP備12038005號-6
版權所有:北京億科創想網絡科技有限公司