文書管理・スキャニングのことならジェイ･アイ･エム

データ変換

データクレンジング

BIツールが普及している中、導入にあたり課題となるものの１つにデータ統合作業があります。
データベースに保存されているデータやExcelファイルなどのデータの中は、システムや入力者に依存し、それらのデータを統合するのは大変です。
ジェイ・アイ・エムでは、重複や表記の揺れ、ごみなどを抽出し、削除や修正、正規化するデータクレンジングサービスを提供しています。

データクレンジング処理の流れ

• 1

  調査・分析

  対象となるデータがどのような状態となっているのか、その成り立ちやデータの状態を調査します。あわせて、新システムに取り組む仕様も確認します。
• 2

  仕様確定

  どのデータを、どのようにクレンジングするのか、クレンジングの仕様を決定します。
• 3

  クレンジング実施項目例

  1. 半角･全角の統一
  2. 空白文字や区切り記号の有無
  3. 人名の異体字の誤り
  4. 会社称号の統一（株式会社と(株)の違いなど）
  5. 住所や電話番号の表記の統一
  6. 年月日の統一（和暦・西暦、桁数）
  7. 簡略語の統一（「M」「T」「S」「H」⇔「明」「大」「昭」「平」、「(性別)1」「(性別)2」⇔「男性」「女性」等）
  8. 長音、小書き文字の統一（母音⇔｢ー｣、「っ」「ぉ」等）
  9. Null値の取り扱い
  10. セルで設定されたルール以外のデータ
  11. 使用禁止文字の確認
  12. データ型の統一（数値型、文字型、選択型等）
  13. 重複、ゴミの削除など