「精度」という言葉を、この会社の誰も定義していなかった

その案件で最初に受け取った依頼文には、「マッチングの精度を上げたい」と書いてあった。

柚木です。二十八歳、入社三年目。大学院では材料の研究をしていて、統計はそのときに使っていた。この会社では、データを触る案件によく入れられる。

クライアントは、中堅の人材紹介会社だった。正社員の転職を扱う。登録している求職者が十一万八千人、有効な求人が六千二百件。売上は百三十億円くらいで、社員は五百人弱。

アサイン ―― 三人が違うことを言った

キックオフの週に、私は三人に同じ質問をした。「精度が上がった、とはどういう状態ですか」

営業本部長は「決まる数が増えることです」と言った。決まる、というのは成約、つまり内定を承諾して入社が決まることだ。

サービス企画の部長は「書類の通過率です」と言った。求職者を企業に推薦して、書類選考を通る率。いまは二十二パーセント。

現場のキャリアアドバイザー――求職者側を担当する人――のリーダーは、「求職者が納得して選んだかどうか」と言った。

三人とも、自分の答えを当然のように言った。そして三人とも、他の二人が違うことを言っているのを知らなかった。

私はこの時点で、これは分析の案件ではなくて定義の案件だな、と思った。思ったのに、その思ったことを二週間後には忘れていた。

立ち上がり ―― 数えられるものしか数えられない

データをもらった。

推薦の履歴が三年分。月におよそ九千四百件の推薦があり、そのうち書類が通るのが二千件強、面接に進んで、最終的に成約になるのが月に百三十件前後。

一件の成約で、この会社は理論年収の三十五パーセントを受け取る。平均すると一件およそ二百万円だ。月百三十件で二億六千万。

私は最初の三週間、データの中身を見ることに使った。

推薦のレコードには、求職者のID、求人のID、推薦した日、担当のアドバイザー、その後のステータスが入っていた。求職者の側には、年齢、経験社数、直近の年収、希望年収、業種、職種、資格、それから自由記述の職務経歴が入っていた。

自由記述は、長さがバラバラだった。四千字書いている人もいれば、「営業」の二文字だけの人もいた。二文字の人が、全体の六パーセントいた。

このとき私は、自由記述をどう扱うかで一週間迷った。迷った末に、長さと、いくつかの語の有無だけを特徴量にした。文章そのものは使わなかった。あとから見ると、この判断は消極的すぎた。

四週目に、現場を一日見せてもらった。

キャリアアドバイザーの人が、求職者と一時間の面談をする。その日に見たのは、三十四歳の男性の面談だった。二社目で、いまは中堅の部品メーカーの生産管理をしている。転職の理由は、上司と合わないことだった。

アドバイザーは、最初の十五分、転職の話をしなかった。いまの仕事で何が面白いか、という話をしていた。三十四歳の男性は、最初は答えにくそうだったが、途中から工場のラインの話を始めて、少し早口になった。

面談が終わったあと、私はその人のデータを見た。自由記述は、二行だった。「生産管理。工程改善の経験あり」

一時間で出てきたものと、二行のあいだにあるものは、私が触っているテーブルにはどこにも入っていなかった。そのことは分かった。分かったが、どう扱えばいいかは分からなかったので、私はまた、数えられるもののほうに戻った。

仮説構築 ―― 正解ラベルを内定承諾に置いた

三人の答えのうち、私が正解ラベルに選んだのは、営業本部長の「決まる数」だった。

理由は三つあった。一つ、数えられる。二つ、会社の売上に直結している。三つ、他の二つは主観が入る。

いま書くと、三つ目がいちばん怪しい。主観が入るから外した、というのは、主観を扱う手間から逃げただけだ。

モデルは、推薦の一件ごとに「これは成約に至るか」を出す形にした。過去三年分で学習させて、直近半年で検証した。手法そのものは、特別なことは何もしていない。ベンダーの学習済みの仕組みも一部使ったが、中心は自分で組んだ。

最初の結果は良くなかった。成約は全体の一パーセント台なので、何も予測せずに「全部成約しない」と言うだけで九十八パーセント当たる。そういう不均衡なデータだった。

そこから四週間かけて、評価の仕方を組み替えて、特徴量を足して、閾値を動かした。上位一割に絞ったときの成約の含まれ方が、ランダムに比べてどれだけ良いか。その指標で、最終的に十四ポイント上がった。

十四ポイントを出した夜のことは覚えている。火曜の二十四時過ぎで、常駐先のビルはもう暗く、非常灯だけが点いていた。数字が出た瞬間に、私は席で少し笑った。声は出さなかった。誰もいなかったので出してもよかったのだが、出なかった。

中間報告 ―― 「理由は何て言えばいいんですか」

中間報告は、その二週間後だった。

私は、十四ポイントの話を二十分した。ロジックの説明を、なるべく比喩を使わずにやった。私は比喩が下手で、前に一度「濾過装置のようなものです」と言って、逆に質問が増えたことがある。

役員は納得していた。営業本部長は「これ、いつから使えますか」と言った。

問題は、そのあとに手を挙げたキャリアアドバイザーのリーダーだった。三十代半ばの女性で、名前は間宮さんという。

「推薦するときに、求職者さんに理由を言うんです」と間宮さんは言った。「この求人を勧めるのはこういう理由です、って。それは、何て言えばいいんですか」

私は「モデルが上位に出した、という言い方はしにくいですよね」と答えた。

「しにくい、じゃなくて、言えないです」と間宮さんは言った。「言ったら、その人はうちを使うのをやめると思います」

会議室が、少し止まった。営業本部長が「そこは運用でね」と言って、話は次に進んだ。

私はそのとき、間宮さんの指摘を「運用の話」として自分の中で処理した。技術的には解けている、と思っていた。

三ヶ月後 ―― 押しの強さを学習していた

気づいたのは、実証の後半だった。

上位に出た推薦を、実際に現場で使ってもらって、成約率がどう変わるかを見ていた。その集計を担当別に割ったときに、妙なことに気づいた。

モデルが「成約しやすい」と判定した推薦は、特定の七人のアドバイザーの担当に偏っていた。全体は八十人以上いる。

その七人を調べたら、成約率が高い人たちだった。それはいい。ただ、成約率が高い理由が、求人の選び方ではなかった。

内定が出たあとの、承諾を取る力が強かった。電話の回数が多く、面談を追加で入れ、迷っている求職者に対して、決める方向に押す。それが上手い人たちだった。

私が正解ラベルに置いた「内定承諾」は、求人と求職者の相性ではなく、担当者がどれだけ押すかを大きく含んでいた。モデルはその癖を学習して、上位に出していた。

十四ポイントは、たしかに上がっていた。数字は正しい。ただ、上げていたものが、依頼された「マッチングの精度」とは別のものだった。

確認のために、七人のうちの一人に話を聞いた。四十歳の男性で、この会社に十二年いる人だった。

「押してますよ」とその人はあっさり言った。「迷ってる人は、だいたい迷ったまま決めないので。決めないと、その人は三ヶ月後も同じことで悩んでます」

それは、たぶん本当だ。押すことが悪いという話ではない。

ただ、私が作ったものは「押しが効きやすい組み合わせ」を上に出す装置だった。それを全社に配ったらどうなるかを考えて、私は少し気分が悪くなった。押しが弱いアドバイザーは、上位の推薦を送って、決まらず、成績が下がる。装置のせいだとは誰も思わない。

このことを、私は一晩考えてから、マネージャーの寺門さんに言った。寺門さんは十秒くらい黙ってから、「よく言ったな」と言って、次に「報告どうする」と言った。

「隠す選択肢はありますか」と私が聞いたら、「ある」と言われた。「ただ、隠すと、半年後に現場が気づく。そのときにうちが呼ばれない」

私は正直、少し安心した。隠さない理由が、倫理でなく実利で説明されたことに安心した自分のことは、あまり考えないようにしている。

最終報告 ―― 十四ポイントを残した

最終報告では、両方を出した。十四ポイントの結果と、その十四ポイントが何を含んでいるかの分解。

正解ラベルを「入社後一年の在籍」に置き換えた場合の試算も出した。ただし在籍のデータは二年分しかなく、件数も足りない。上がり方は四ポイントだった。

営業本部長は、四ポイントのほうを見て「弱いですね」と言った。事実として弱い。

社長は最後に、「どっちが正しいんですか」と聞いた。

私は「どちらも正しくて、測っているものが違います」と答えた。答えながら、これは答えになっていないと自分で思っていた。

導入は、その場では決まらなかった。「まず一部の部署で試す」ということになった。

報告のあと、間宮さんが廊下で待っていた。

「中間のとき、私、水を差しましたよね」と言われた。私は「差されてよかったです」と答えた。本心だった。ただ、本心なのに、言い方がうまくできなかった。私は「あのときの指摘が、今回の分解のきっかけです」と付け足した。実際には、きっかけは集計の偏りで、間宮さんの指摘とは直接つながっていない。少し盛った。

間宮さんは「そうですか」と言って、それから「柚木さん、面談、もう一回見に来ます?」と聞いた。私は「行きます」と答えた。その約束は、結局果たしていない。

生活 ―― 座っている時間

この案件で、私は週に四日、常駐していた。残り一日は自社。

一日のうち、座っている時間は十一時間くらいだった。人と話す時間は、たぶん四十分。データを触る案件はそうなる。

九月に、椅子に敷くクッションを買った。四千二百円。効いた。もっと早く買えばよかった。

家は会社から三十分の1K、家賃八万七千円。年収は六百八十万円。土曜はジムに行くと決めていて、四ヶ月で三回行った。三回とも、行った日は日曜に何もできなかった。

夜、目が乾く。目薬を一日に五回さす。眼科に行けと言われているが、行っていない。

十月に、大学の同期から連絡が来た。研究室に残った男で、いまは助教をしている。「そっちは何やってるの」と聞かれて、私は「人と求人のマッチングを予測してる」と答えた。「面白そう」と返ってきた。

面白いかどうかを、そのとき私は考えた。面白い。ただ、面白さの中身が、研究室にいたころとは違う。あのころは、うまくいかない理由が装置か試料の中にあった。いまは、うまくいかない理由が、たいてい人の言葉の使い方の中にある。それは私が得意な場所ではない。

後記 ―― まだ検討中と書いてある

半年後に、間宮さんから一度だけメールが来た。

一部の部署で試している、という報告だった。使われ方は、私が想定したのとは違っていた。上位に出た求人を求職者に勧めるのではなく、アドバイザーが自分で選んだ推薦が、上位に入っていないときに、一度考え直すという使い方をしているらしい。

「理由を言わなくていいので」と書いてあった。

この使い方は、私の設計には入っていなかった。効果があるのかどうかも分からない。ただ、間宮さんは自分で使い道を見つけていた。

社内のポータルに、この実証の一覧がある。この会社の項目は、いまも「検討中」になっている。半年前と同じだ。

私は次の案件でも、正解ラベルを何にするかを最初に決めることになる。今度は三人に聞くだけでなく、その三人を同じ部屋に入れようと思っている。思っているだけで、まだやっていない。

一度だけ、あの十四ポイントを出した火曜の夜のことを、寺門さんに話したことがある。誰もいないフロアで、一人で笑ったという話だ。寺門さんは「それは正しい反応だよ」と言った。

そのとき私は、寺門さんが何を「正しい」と言ったのかを聞き返さなかった。数字が上がったことか、笑ったことか、それとも三ヶ月後に自分で壊したことも含めてなのか。

いまでも、ときどき考える。考えて、答えが出ないまま、次のデータを開いている。