データクレンジングとは？
データクレンジングの手法とその必要性を解説

理想的な進め方

データクレンジングの進め方は、具体的には下記の方法が一般的です。

保有しているデータ資産の状況を把握

データクレンジングを始めるための第一歩は、保有しているデータ資産の状況を把握することです。どのデータがどのように「汚れている」のかが分からなければ、どのようにクレンジングするかを判断できません。データの欠損、表記の揺れ、整合性、精度、重複といった基準にもとづき、現状を確認することがスタートです。

改善するためのルールとそれに沿った実行

改善するためのルールを定め、やっとデータクレンジングを実行できます。改善に向けたルールとして、考えられるものは、変換する作業が必要です。例えば、数値情報が全角表記の場合、数値として認識されず、集計や分析が出来ないため、半角へ変換する必要があります。

今後の活用を見据え処理

ルールに従い、データクレンジングの実施後、データをどのように活用したいかを見据えて、項目を結合、或いは分割する処理などがあります。その処理を踏まえることで、結果、データ分析を行う基礎が出来上がります。加え、そのスピードや精度を向上に繋がります。

またもし部署ごとに分散している複数のデータベースを、一つにまとめるような場合は重複の排除や関連付けを行います。この作業を名寄せ（マッチング）と呼びます。事前に、各データベースのクレンジングを行い、分類項目などデータの粒度を揃えておけば、名寄せをスムーズに行うことが可能です。

そして、データクレンジングが完了しても、データ入力を行う担当者が、これまで同様のやり方を続ければ、時間の経過とともにデータの品質は低下します。

データの品質を維持するためには、データ入力の仕組みを改善することはもちろんですが、データの汚れ具合を監視し、必要に応じて再度クレンジングするといった、継続的な品質の維持が必要です。

テクノロジーとソリューションを利用する

電話番号にハイフンを入れるようなシンプルなクレンジングであれば、RPAでも問題なく処理できます。しかし、より複雑な自動化を希望する場合は、AIなど、より高度なテクノロジーを活用することが必要です。

例えば、SAP Analytics Cloudを利用することで、データのクレンジングのみならず、クレンジングした後のデータをどのように分析するかという視点や、切り口の選択を自動化できます。

また、データ分析プロセスに機械学習技術を用いることで、人力で行うことが困難な作業を自動化。そして、分析精度を改善し、同時に人の思考の偏りや入力ミスを排除します。

このようにテクノロジーを活用することで、CRMやMAツールなどの各種ツールを最大限に活用し、質の高い顧客分析やマーケティング活動を実施することができるでしょう。