衡量你的 Data 是否完美無瑕 Assess the Quality of Data
當老闆問你:「我們的 Data Quality 是否完美無瑕?」 這顯然不是一個可以用 True or False 簡答的小問題。 這裡提供幾個面向可以著手,讓你可以用一個較為全備的角度來向老闆說明「我們距離完美只差哪一點點!」 資料年齡 資料從誕生的那一刻開始,就已經在邁向過期。如果你沒有讓它常保更新,它廢棄的速度可能超乎你的想像。 完整性 資料間的完整性:是否擁有業務所需的各面向資料。例如是不是所有產品線的資料都有記錄到?是否某些產品的資料沒能收進來? 資料內的完整性:在一筆資料裡面,是否各欄位的值應有盡有?還是東缺西漏? 精準性 或許每個類別的資料都收錄到了,而且每筆資料的每個欄位都填得滿滿的了。但這些內容是否精準正確呢? 一致性 每筆資料是否遵循一樣的記錄準則。例如你的Language欄位用的值是"English"還是"EN"?還是都隨便交錯著使用?你的產品名稱寫的是全名還是縮寫簡稱?還是都隨便交錯著使用? 重複性 正確的資料不用多,同樣內容的,一筆就夠。 使用率 能派上用場的資料,就是好資料。否則要它何用。 再新再完整再精確的資料,如果沒有人去看他,便是枉然。 如果有些資料都乏人問津,可能就沒有必要浪費心力浪費空間繼續去儲存維護它了。 完美並不存在,但我們可以力求無限逼近它。