はじめに

本記事は、Googleデータアナリティクスのプロフェッショナル認定証のプログラムより、参照させて頂いています。興味を持った方は、是非受講してみてください。

データクリーニングの検証の始め方

検証は、あらゆる分析プロジェクトにおいて重要な部分です。検証を行わない限りデータ主導の意思決定においてインサイトが信頼できるかどうか知る術はありません。検証はいわば、承認印のようなものです。

『検証とは、データクリーニングが適切に実施されその結果得られたデータが正確で信頼できると確認するプロセス』

これには、期待値と現状を比較し手動でデータクリーニングすることも含まれます。

検証プロセスにおける最初のステップはクリーンアップする前のデータセットと現在のデータとを比較することです。ダーティなデータを見直し、共通の問題点がないか確認するのです。

たとえば、NULL がたくさんあったとします。この場合、クリーンデータをチェックして NULL が存在しないことを確認します。そのためには、データを手動で検索するか条件付き書式設定やフィルタなどのツールを活用します。
あるいは、誰かが製品名を何度も間違えて入力しているなどよくある誤字脱字が見られるかもしれません。このような場合はクリーンデータで FIND を実行してスペルミスがないことを確認します。

これは、実際に解決すべきビジネス上の課題やプロジェクト全体の目標に焦点を当てるとともに課題を解決し、目標を達成するためのデータが実際にあると確認する機会でもあります。

プロジェクトは時としてリセットし、全体像を見直す時間を取ることが重要です。なぜならプロジェクトは気づかないうちにいつのまにか進化したり、変化したりすることがあるためです。

例えば、ある e コマース企業が商品の改善に役立つ情報を得るため 1,000 人の顧客を対象にアンケートを実施するとします。しかし回答が集まり始めると、顧客が e コマースの Web サイト、つまりプラットフォーム自体に不満を抱いている、というコメントが多いと気づきます。そこで、アナリストはそこに着目し始めます。もちろん、顧客の購買体験は e コマースビジネスにとって重要ですが、それはプロジェクトの本来の目的ではありません。この場合、アナリストは一旦立ち止まって焦点を合わせ直し、本来の課題解決に立ち戻る必要があります。

プロジェクトの全体像を把握するには、次の 3 つのことが必要です。

データを使って解決したいビジネス上の課題を考える
- 課題を見失ったままではどのデータが分析に適しているのかがわかりません。課題ファーストで分析に取り組むことはどのプロジェクトのどの段階でも重要です。そのデータが、実際にビジネスの課題解決を可能にするものか、確認する必要があるのです。
プロジェクトの目標を考慮する
- 商品に関する顧客のフィードバックを分析したい、というだけでは十分ではありません。本当に必要なのは、フィードバックを得てその商品を改良すること、これこそが目的なのです。そのうえで収集、クリーニングしたデータが実際にその目標の達成に役立つものであるかどうか、知る必要があります。
そのデータが課題を解決し、プロジェクトの目的を達成できるものであるかどうかを検討する
- データがどこから来たのか考えデータ収集とクリーニングのプロセスをテストするのです。

データアナリストは時々自分のデータに慣れすぎて何かを見落としたり、思い込みが激しくなったりすることがあります。

そのため、この段階でチームメンバーに新たな視点でデータを見直してもらい他の人からフィードバックを得ることが非常に重要です。

またこの段階では、データの中に不審な点や問題のありそうな点がないか気づくこともできます。もう一度、一歩下がって全体像を把握し 「この数字は意味があるのか」 と自問してみましょう。

e コマースの例に戻りましょう。データアナリストが、顧客満足度調査のクリーンアップされたデータをレビューしているとします。アンケートはもともと 1,000 人の顧客に送られたものですが、もしデータの中に 1,000 人以上の回答があることを発見したらどうなるでしょうか？これは、一人の顧客がアンケートに複数回答える方法を見つけた、ということかもしれません。あるいは、データクリーニングのプロセスで何か問題が発生しフィールドが重複していた可能性もあります。いずれにせよこれはデータクリーニングプロセスに戻って問題を修正するべきであることを示すサインです。

データの検証は、分析から得られるインサイトを信頼できるものにします。企業が大きな間違いを避けるための、データクリーニングの重要な部分です。これもまた、データアナリストの腕の見せ所です。

よくある問題の特定と修正ができているか、確認しましょう。以下はその例です。