データクレンジングとは、表記の揺れや重複、欠損といったデータの汚れを取り除いて、そのまま使える状態にする作業です。
顧客名簿でも商品マスタでもアンケートの回答でも、汚れの種類と直し方は変わりません。
やっかいなのは、一度やって終わる作業ではないことです。
データは置いておくだけで古くなり、取り込むたびに同じ汚れが増えていきます。
この記事は約7分で読めます。
この記事でわかる4つのこと
- 弊社検証の企業データは8.5か月で9割超が更新されたので、整備は1回では足りない
- 社名変更の登記は79日で0.094％なので、社名の違いはほぼ表記揺れで置換で直る
- 直すのは用途に必要な項目だけで、営業リストなら電話番号と部署名が先になる
- 完全一致と形式の誤りは機械が判定し、人は機械が決められなかった行だけを見る
データクレンジングとは
データクレンジングは、手元のデータを「そのまま使える状態」にする作業です。
汚れは5種類あり、種類ごとに直し方が決まっています。
1つのファイルだけを扱っていても、入力した人と時期が違えば同じ対象が別の書き方で何行も入ります。
複数の経路から集めたデータを1つにまとめると、項目の形式も分類の名前も取り込み元ごとに違うため、汚れはさらに増えます。
データの汚れは5種類
データの汚れは、次の5種類に分けられます。
| 汚れの種類 | 具体例 |
|---|---|
| 表記の揺れ | 同じ対象が違う書き方で入っている。「株式会社」と「（株）」、全角と半角、単位の有無 |
| 重複 | 同じ対象が2行以上ある。企業データなら本社と支店が別の会社として入っている |
| 欠損 | 必要な項目が空欄になっている。連絡先、分類、数量など |
| 誤り | 桁や形式が合わない、別の対象の情報が混ざっている |
| 古い情報 | 実態の変化が反映されていない。企業データなら社名変更・移転・閉業 |
表記の揺れから誤りまでの4つは、手元のデータを眺めれば見つかります。
古い情報だけは、外のデータと突き合わせないと分かりません。
直し方が大きく変わるのも、この線引きのところです。
データクリーニングとの違い
データクリーニングは、データクレンジングと同じ作業を指す言葉です。
業務データの整備では「クレンジング」、分析の前処理では「クリーニング」と呼ばれることが多い、という違いだけです。
どちらの言葉で頼まれても、やることは変わりません。
なお、同じ対象のデータを1件にまとめる「名寄せ」は、データクレンジングの手法の1つにあたります。
データクレンジングの目的・必要性
データクレンジングの目的は、そのデータを使う目的を果たせる状態にすることです。
きれいにすること自体が目的ではないので、用途が決まらないと直す範囲も決まりません。
直す範囲は用途で決まる
どこまで直すかは、そのデータを何に使うかで変わります。
| 用途 | 先に直す項目 |
|---|---|
| 営業リストとして架電する | 電話番号と部署名。社名の表記揺れは後回しでよい |
| 集計・分析に使う | 分類と数量。1件の連絡先の誤りは結果に響かない |
| 別のシステムに取り込む | 桁数と形式。値の正しさより形式の統一が先 |
| 請求・与信に使う | 誤り。1件の間違いがそのまま損害になる |
全項目をきれいにしようとすると、終わりが来ません。
営業リストとして使うなら、連絡先が正しいかどうかだけが成果に直結します。
使わない項目の表記が揺れていても、実害が出ないなら直さなくて構いません。
データは置いておくだけで古くなる
手元のデータは、何もしなくても中身が実態から離れていきます。
同じ取得元のデータを8.5か月あけて2回取得して91万社分を突き合わせたところ、92.4％で何らかの項目が更新されていました。
つまり手元のデータが8か月前と同じ内容のままである可能性は低いということです。
だからデータクレンジングは1回で終わらせず、取り込みの運用に組み込みます。
とくに営業リストのように外部の変化がそのまま成果に響くデータは、手元で直すより最新のデータと入れ替えるほうが早く済みます。
（出典：「STREAM X」のデータベースを2時点で比較（2025年12月24日／2026年9月7日時点）。データが更新された事実であり、企業側が変更した件数を測ったものではありません／STREAM X 調べ）
データクレンジングの手法
手法は、汚れの種類に対応して4つあります。
欠損と誤りは扱い方が同じなので、汚れは5種類でも手法は4つです。
表記の揺れ
表記の揺れは、置換ルールを先に決めて機械で一括して揃えます。
人が1行ずつ直すと件数に比例して時間が増え、翌月また同じ作業が必要になるからです。
| 揺れる項目 | 揃え方 |
|---|---|
| 名称 | 略称と正式名称をどちらかに寄せる。企業名なら法人格の表記と位置を固定する |
| 住所 | 丁目と番地の表記を数字に寄せ、建物名を別の列に分ける |
| 数字・記号 | ハイフンや単位の有無、全角と半角をどちらかに決める |
| 分類 | 自社で使う分類表に寄せ、表記の異なる同義語をまとめる |
ルールを決めるときは、自社で使う正しい表記を項目ごとに1つ選び、そこに寄せます。
直すときは、元の値を別の列に残してから当てます。
上書きすると、ルールが間違っていたときに戻せません。
ルールと元の値さえ残しておけば、表記の揺れは翌月から同じ処理を流すだけで片付きます。
重複
重複は、対象を一意に識別できるIDで突き合わせて判定します。
名称や住所をキーにすると表記が揺れるため、同じ対象を別の行として見落とすからです。
会員番号や商品コードのように自社で振った番号があるなら、それが最も確実なキーになります。
企業データなら国が振っている法人番号が使え、13桁で一意に決まるため社名や所在地が変わっても番号そのものは変わりません。
一意なIDが無いデータでは、名称と電話番号をつないだ文字列をキーにします。
重複が見つかったら、更新日が新しい行・項目が埋まっている行・取引履歴が付いている行の順で残す1行を決めます。
基準を決めずに統合すると、消した行にしかなかった情報が失われます。
欠損と誤り
欠損と誤りは、推測で埋めずに、除くか外部データで補います。
埋めた値と確認した値が混ざると、後からどれが確かなのか分からなくなるからです。
| 状態 | 扱い |
|---|---|
| 空欄 | 対象外として扱うか、外部データで補って補った印を付ける |
| 明らかな誤り | 正しい値が分かるなら直し、分からないなら消す |
| 確認できない値 | そのまま残さず、確認待ちの印を付けて分ける |
誤りは、機械で検査できる条件から抜き出すのが早いです。
電話番号の桁数、日付が未来になっていないか、数量が負になっていないかの3つは、関数だけで洗い出せます。
補った値に印を付けておけば、次に見たときに確認済みの値と区別できます。
古い情報
古い情報は、外部のデータと突き合わせて更新します。
ただし、全項目を同じ手間で追う必要はありません。
国税庁の公開データでは、79日間で商号の記載が更新された法人は0.094％、所在地は0.663％にとどまります。
ここから言えるのは、社名のばらつきの大半は実際の変更ではなく表記の揺れだということです。
だとすれば、社名の整備は文字列の統一で大半が済み、実際の変更だけを外部データとの突合で拾えば足ります。
（出典：国税庁「法人番号公表サイト」の公開データ（2026年6月19日時点／9月6日時点）を「STREAM X」が集計／STREAM X 調べ）
データクレンジングの手順
手順は、目的を決めてから機械で直し、最後に運用へ戻すまでの5ステップです。
順番を入れ替えると、どこまで直せば終わりなのかが決まらないまま作業が続きます。
ステップ1 使う目的と項目を決める
最初に、このデータを何に使うのかを1行で書き出します。
そのうえで、その用途に必要な列にだけ印を付けます。
印の付かなかった列は、この回では触りません。
ステップ2 汚れの量を数える
直す前に、どの汚れがどれだけあるかを数えます。
重複率は重複している行数を全行数で割り、欠損率は空欄の数を全行数で割って出します。
Excel なら COUNTIF で重複、COUNTBLANK で空欄を数えられます。
数えておくと、直したあとに何がどれだけ良くなったかを言えます。
ステップ3 機械で直せるものから直す
表記の揺れと重複は、置換と関数で一括して直します。
順番は、表記を揃えてから重複を突き合わせます。
表記が揺れたまま突合すると、同じ対象を別のものとして見落とします。
表記を揃える作業では、置換で法人格の書き方・全角と半角・ハイフンの有無を一括で直し、TRIM で前後の空白を落とします。
重複を探す作業では、キーにする列を1つ作り、COUNTIF でその値が2回以上出てくる行に印を付けます。
キーが複数の項目にまたがるなら、名称と電話番号をつないだ列を作ってから COUNTIF をかけます。
残す行を決めたら、VLOOKUP や Power Query のマージで消す行にしかない情報を残す行へ寄せます。
作業前に元データを複製し、当てたルールを1枚に書き出しておけば、翌月は同じ処理を流すだけで済みます。
ステップ4 残りを人が判断する
ステップ3で機械が決められなかった行だけを、人が1件ずつ見て決めます。
機械が決めるのは、キーが完全に一致する行と、形式のルールで判定できる行です。
法人番号が同じ2行、置換したあとの名称が1文字も違わない2行、桁数や日付の形式が外れている行がこれにあたります。
人が見るのは、似ているのにキーが一致しない行です。
企業データなら、本社と支店、屋号と法人名、同じ社名の別会社の3つが典型になります。
人が下した判断はその場で書き残し、次回からは機械側のルールに移します。
人が見る件数が毎回同じなら、ルールに落とせていないということです。
その場で決められない行は確認待ちとして分けておけば、作業が止まりません。
ステップ5 入力と取り込みのルールに戻す
最後に、直したルールを入力フォームと取り込み処理に反映します。
ここまでやらないと、同じ汚れが同じ経路から増え続けます。
更新の周期は、取り込み元ごとに変えるのが現実的です。
1か月で4分の1が入れ替わる情報源と、ほとんど動かない登記情報を、同じ周期で回す必要はありません。
動きの速い情報源は毎月、動かない項目は四半期から半年に1回でも間に合います。
データクレンジングにおすすめのツール
使う道具は、表計算ソフト・AI・外注の3つです。
選ぶ基準は件数ではなく、毎月同じ処理を再現する必要があるかです。
表計算ソフト：データの汚れを見つける
Excel やスプレッドシートは、汚れを直すより見つけるのに向いています。
COUNTIF で重複、COUNTBLANK で欠損、フィルタで表記の揺れを探せます。
目安は数千行までの単発の整備で、数万行を超えると動作が重くなります。
毎月同じ処理を繰り返すなら、手順を保存できる Power Query に寄せます。
AI：同じ会社の候補を出す
AIに任せてよいのは、「同じ対象かもしれない候補」を出すところまでです。
表記の違う名称を突き合わせて候補を挙げる作業は得意ですが、最終的な判定は任せません。
AIが根拠を示さずに同一と判断すると、後から検証できなくなるからです。
候補と一緒にそう判断した根拠の列も出させて、判定は人かルールで行います。
ただしAIは、同じ入力でも毎回同じ結果を返すとは限りません。
そのため人が確定した対応だけを表に書き出し、次回からはAIではなくその表を当てます。
外注：古い情報を新しくする
外注が向いているのは、古い情報を新しくする工程です。
手元のデータを直すだけでは、社名変更や移転、閉業のように外で起きた変化は分かりません。
とくにテレアポに使う営業リストは、電話番号と部署名が古いだけで、つながらない架電がそのまま積み上がります。
STREAMでは、テレアポ向けの営業リストのクレンジングと情報付与を提供しています。
手元のリストに最新の企業データを突き合わせて、表記の統一、業種の統一、欠けている電話番号の補完までを一度に行えます。
件数が数万行を超える場合や、毎月の更新を続ける場合は、任せたほうが総額で安くなることもあります。
手元のリストの状態に合わせた進め方を、無料で相談できます。
データクレンジングに関するよくある質問
データクレンジングの外注費用はいくらかかる？
料金表を公開している会社はほとんどなく、見積もりで決まります。
金額を左右するのは、件数・直す項目の数・外部データとの突合が必要かの3つです。
1回の整備で終えるのか、毎月続けるのかでも総額が変わります。
見積もりを取るときは、対象の件数と直したい項目を先に決めておくと比べやすくなります。
Excelでもデータクレンジングはできる？
数千行までで、単発の整備ならできます。
毎月繰り返すなら、Power Query に手順を保存するか別の手段に移すほうが早くなります。
分かれ目は件数ではなく、同じ処理を再現する必要があるかどうかです。
数万行を超えると動作が重くなる点も、移す判断の材料になります。
どのくらいの頻度でやり直せばいい？
取り込み元によって変えます。
29日間で25.1％が入れ替わる情報源は毎月、登記情報のように年あたり数％の項目は四半期から半年に1回で間に合います。
分かれ目は件数ではなく、外部の変化がどれだけ速く起きるかです。
全部を同じ周期で回す必要はありません。
（出典：「STREAM X」が継続的に取得している求人媒体のデータを2時点で比較（29日間）／STREAM X 調べ）
CRMやSFAの重複チェックだけでは足りない？
入力時の重複は防げますが、すでに入っている表記の揺れと古い情報は直りません。
既存データの整備と、入力ルールの整備は別の作業として持ちます。
重複チェックの条件も、名称の表記が揺れていると機能しません。
入力欄に選択式の項目を増やして、自由入力を減らすほうが先に効きます。
【まとめ】運用に戻すまでが1セット
データクレンジングは、汚れの種類ごとに直し方を決めて、取り込みの運用に戻すまでが1セットです。
この記事の要点4つ
- 用途を先に決めれば、直す項目と範囲もそこで決まる
- 社名のばらつきの大半は表記の揺れなので、社名は置換で揃えれば足りる
- 機械と人で担当を分け、人はキーが一致しない行だけを見る
- 速く動く取り込み元だけ毎月入れ替え、全部を同じ周期で回さない
まずは用途を1つ決めて、その用途に必要な項目だけを対象に量を数えるところから始めます。
古い情報の更新まで自社で抱えると手が回らなくなるので、外部データとの突合は任せる選択も検討してください。
営業リストとして使うデータなら、条件を指定した最新のリストを無料のデモ登録で3,000件まで試せます。
