「データクレンジングの効果は極めて大きいので、データクレンジング人材はもっと脚光を浴びるべきだと考えている」。リクルートジョブズIT戦略室デジタルマーケティング部板澤一樹部長はこう主張する。
リクルートジョブズにおいてIT戦略室デジタルマーケティング部で、データ分析の一環としてクレンジングに取り組んできた板澤一樹部長と、大坪弘典氏に、これまでの同社の取り組みや、クレンジングの効果について話を聞いた。
リクルートジョブズでのデータ分析への取り組みを教えてほしい。
（板澤）データ分析の専門組織を2013年に立ち上げた。その際のメンバーは私と、大坪を含む2人のデータサイエンティストだけだった。
私はそれまでマーケティングや新規事業の立ち上げを担当し、その中でデータ分析に取り組んでいた。当時、「データ分析がうちのような会社には必要だ」という機運が高まっていたため、新たに専門の組織を作った。だが、必要な人材はまだ社内に十分にいなかったので、3人からのスタートになった。
データ分析への取り組みはまだまだこれからという状況だったが、当社には「データは重要」という意識が以前からあり、多くのデータが貯まっていた。
ただしそのデータは、紙の情報をもとにデータベースに入れられたものや、そもそもデータの定義があいまいなものなど、手直ししないと使えないようなものが多かった。そのため、データをクレンジングし、分析のための環境を構築することから取り組みを始めた。
データの関連を一目で示すシートを作成
具体的にはどのようなことをしたのか。
（板澤）データの定義や、各システムのデータがどのように関連しているかが一目で分かるようなシートを作ることを進めた。
今年の3月までに、データベースのテーブルが何の項目で紐づいているか、テーブルがどのような役割を持っているか、テーブル同士はどのような関係か、といったことをシートにまとめた。
Webのシステムについても、例えばログデータと求職者のデータを紐づける、といったことをした。
こうした作業の中で、コミュニケーション能力が必要だと痛感した。データサイエンティストは、分析結果を生かす部門とのコミュニケーションが必要とはよく言われる。クレンジングにおいても、データの定義を各システムの開発者から聞き出さなくてはならない。ただ、システムの開発者には、分析による恩恵があるわけではないので、特にメリットがないのに協力してもらうことになる（のでハードルがさらに高い）。
シートでデータの関連を示せたので、こうしたヒアリングは必要なくなった。
（大坪）ER（エンティティ・リレーションシップ）図など、データの関係を示したドキュメントがしっかりあるかと思っていたが、そうではなかった。当初は、「このシステムなら、データについてはこの人に聞くべき」という人を見つけて、データ環境を整備していった。
（板澤）データ分析環境を整備しようとしたとき、紙に記載された内容をシステムに入力して表記が統一されていないデータや、バッチ処理が途中で止まるなどして欠損したデータなどもあった。システムによっては担当者が独自に変数を作って追加していたものの、その担当者が交代して何の変数だか分からなくなっていることもある。そういった一つひとつの問題を直していった。
もう一つの取り組みとして、大量データを分析する環境を整えた。新たに分析用のHadoop環境を作り、個人情報は特定できない形にして、データをコピーした。以前はリレーショナルデータベースが分析システムの中心で、大量データを扱おうとすると処理に長い時間がかかった。
現在は、分析した結果をサイトや事業に生かすための本番用のHadoopシステムも作った。
データクレンジングへの取り組みは社内の理解を得るのが難しいのではないか。
（板澤）データクレンジングは下準備の作業なので、マネジャーとしてはここに工数を割くのは難しい。どうしてお金（人材）を投じるのかをしっかり説明できるようにしておかないと、データ分析の効果そのものを問われてしまう。クレンジングにしっかり投資をすると、その後の分析の効果が大きく変わるので、そこをしっかりと伝えるようにした。
データクレンジングによる効果はどのようなものか。
（板澤）分析がある程度うまく進められるようになったのも、分析者が分析しやすい環境をまず構築したからだ。その足下があってこそ多様な分析ができる。クレンジングとデータの基盤作りが、分析の成功に半分以上は関わると考えている。
データがきれいだと、分析にどれくらいの期間かかりそうだという予想が立てられ、期間自体を短くできる。プロジェクトの遅延を抑える効果もある。当社の場合、データクレンジングをしていなかった場合に比べて、生産性は約2倍に高まっているはずだ。
クレンジングに最もやりがいを感じるタイプは
データクレンジングの業務にはどういう人が向くのか。
（板澤）データサイエンティストは専門性によって3タイプに分かれると思っている。データのクレンジング、分析、基盤構築だ。
クレンジングに向く人は、会社全体のビジネスを成功させることにモチベーションを高く持っている人に多いと感じる。分析の場合は、個人的なスキルを上げて独自の分析をしたいと考える人が多いので、そこは大きく違うかもしれない。
（大坪）学生時代にデータの分析などを勉強する人は、きれいなデータで分析に取り組む。そのため、いきなりクレンジングに興味を持つというのは難しいかもしれない。企業に入って、「自分が思ってたデータサイエンティストとは違う」と感じる人も多いと思うが、その中で自分のようにクレンジングに最もやりがいを感じるような人もいるだろう。
（板澤）データクレンジングの効果は先に述べた通り極めて大きいので、データクレンジング人材はもっと脚光を浴びるべきだと考えている。当社も人材を増やしていきたい。そのためにデータクレンジングの仕事の内容や効果を伝えていきたい。