こんにちは、株式会社ケンサクの代表、堀田（X: @hottydb）です。
求人サービスにおける検索・推薦技術は、ここ数年で大きく進化してきました。キーワードの一致に頼った時代から、求職者の意図や文脈を理解し、より精度の高いマッチングを目指す時代へ — その変化を支えているのが、AIや機械学習（ML）の技術です。
私自身、これまで15年以上にわたり、検索やレコメンドのアルゴリズム開発に携わってきました。求人領域でも、「ユーザーに本当に合った仕事をどう提示するか」という課題は依然として根深く、さまざまなアプローチが模索されています。
本記事では、求人サービスにおけるAI/ML活用の実態を掴むために、代表的な論文を5つのテーマに分けて紹介します：
- 求人検索とランキング最適化
- 求人推薦とマッチング予測
- 履歴書解析と属性抽出
- 離職予測と定着分析
- バイアスと公平性の分析
それぞれの論文について、
- どのような課題に対して
- どんな手法でアプローチし
- どんな成果を上げているのか
を簡潔に整理してみました。
求人サービスの企画・開発に携わる方、AI活用を検討されている方、あるいはこの領域に興味を持つ研究者の方にとって、本記事が技術理解と実践のヒントになれば幸いです。
テーマ1：求人検索とランキング最適化
求職者が「自分に合った仕事」と出会えるかどうかは、検索体験の質に大きく左右されます。求人サービスにとって検索機能は、応募の入口であると同時に、サービスの価値を最初に体験してもらう場でもあります。
かつてはキーワードの一致だけで結果を返していた検索システムも、今ではユーザーのプロフィールや行動履歴、検索意図をくみ取るパーソナライズ型ランキングへと進化しつつあります。
求人情報の構造化、ユーザー文脈のモデリング、そしてベクトル検索を活用した意味的マッチングなど、多層的な改善が進められています。
このセクションでは、求人検索の進化を象徴する3本の論文を取り上げ、
- エンティティベースの特徴量設計
- セッション単位でのリアルタイムパーソナライゼーション
- 意味ベース検索（Dual Encoder）によるリトリーバル最適化
といったアプローチを紹介します。
検索体験がどのように「文脈理解」へとシフトし、ユーザーと求人の“意味的な接点”をどう増やしてきたか、その軌跡を一緒にたどっていきましょう。
[1] How to Get Them a Dream Job? Entity-aware Features for Personalized Job Search Ranking
Li, Jia, et al. "How to get them a dream job? Entity-aware features for personalized job search ranking." Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
https://www.kdd.org/kdd2016/papers/files/adp0518-liA.pdf
概要
本論文では、LinkedInの求人検索において、エンティティデータ（職種、スキル、企業、勤務地など）を活用し、検索結果の品質とパーソナライズ性を向上させる手法を提案しています。具体的には、3種類のエンティティ対応特徴量をランキング関数に組み込み、検索結果の精度を高めています。
解決する課題
従来のキーワードベースの検索では、ユーザーの意図や文脈を十分に捉えきれず、求人検索において関連性の高い結果を提供することが困難でした。また、求人情報の寿命が短く、ユーザーの行動データが希薄であるため、検索結果の品質評価が難しいという課題も存在します。
解決策
1. エンティティベースのクエリ・求人マッチング
ユーザーの検索クエリと求人情報から、職種、企業、スキル、勤務地などのエンティティを抽出・標準化し、これらのエンティティ間の一致度を特徴量として活用します。これにより、同義語や関連性の高いエンティティ間のマッチングが可能となり、検索精度が向上します。
2. 求職者と求人の専門性の類似性（Expertise Homophily）
求職者のプロフィールに記載されたスキルや、協調フィルタリングにより推定されたスキルと、求人情報に記載されたスキルとの類似度を計算し、検索結果のパーソナライズに活用します。これにより、求職者の専門性に合致した求人が上位に表示されるようになります。
3. エンティティ単位の履歴クリック率（Entity-Faceted Historical CTR）
求人情報の寿命が短く、個別のクリックデータが希薄である問題に対処するため、職種、企業、勤務地などのエンティティ単位で過去のクリック率を集計し、求人の品質指標として活用します。これにより、データのスパース性を緩和し、ランキング精度を向上させます。
これらの特徴量を組み合わせ、学習によるランキング手法（Learning-to-Rank）を用いて最適な検索結果の順位付けを実現しています。
実験結果
- オフライン評価：Precision@1で20%、MRRで12.1%、NDCG@25で8.3%の改善を達成。
- オンラインA/Bテスト：クリック率が11.3%、応募率が5.3%向上。
この研究は、求人検索におけるパーソナライズと検索精度の向上に貢献しており、実際にLinkedInの全求人検索トラフィックに導入されています。
[2] In-session Personalization for Talent Search
Geyik, Sahin Cem, et al. "In-session personalization for talent search." Proceedings of the 27th ACM international conference on information and knowledge management. 2018.
https://arxiv.org/abs/1809.06488
概要
本論文では、LinkedInのタレントサーチにおいて、ユーザー（採用担当者など）の即時フィードバックを活用し、検索セッション中に候補者推薦を動的に最適化する手法を提案しています。初期の検索条件が曖昧でも、インタラクティブな推薦により、ユーザーの意図を数ステップで推定し、より的確な候補者を提示できるのが特長です。
解決する課題
従来のタレントサーチは、静的なクエリベースで候補者を提示するため、検索中のユーザー意図の変化や学習を反映できず、満足度の高い推薦が難しいという問題がありました。
解決策
1. 意図クラスタリング（Intent Clustering）
職種ごとに候補者を意味的に類似したクラスタに分ける。トピックモデリング（例: LDA）を用いて、求職者プロフィールの自然言語記述からクラスタを抽出。これにより、意味のある単位で推薦対象をセグメント化できる。
2. バンディットによるクラスタ選択
各クラスタは“腕”とみなし、多腕バンディット（MAB）により推薦候補を探索・活用のバランスをとりつつ選出。ユーザーがどのクラスタに関心を持っているかを、フィードバックを通じて動的に学習する。
3. クラスタ内ランキングの最適化
選ばれたクラスタ内の候補者は、ユーザー行動に応じたオンライン学習によりスコアリングされ、ランキングが随時更新される。これにより、検索セッション中にユーザーの意図に即したランキング調整が可能となる。
4. セッション内でのパーソナライズ強化
通常のLTRと異なり、セッション内の情報（例：ユーザーの直前の行動）を活かした即時適応が行えるため、初期クエリに曖昧さがあっても適応が早い。
実験成果
- オフライン評価では、意味クラスタリングとMABの組み合わせが既存手法に対してPrecision@25が大幅に改善。
- オンラインA/Bテストでは、クリック率や返信率、応募率が統計的に有意に向上。
この手法は、検索初期の情報不足を補う“探索＋適応”型のパーソナライズとして、実運用にも貢献しています。
[3] Learning to Retrieve for Job Matching
Shen, Jianqiang, et al. "Learning to Retrieve for Job Matching." arXiv preprint arXiv:2402.13435 (2024).
https://arxiv.org/abs/2402.13435
概要
本論文では、LinkedInの求人検索において、検索の初期段階である「リトリーバル層（retrieval layer）」に機械学習を導入することで、従来のルールベース検索よりも高精度かつ柔軟な求人推薦を実現する「Learning to Retrieve（LTR）」フレームワークを提案しています。
解決する課題
既存のリトリーバル層の精度は、キーワードの手作業設定やルールベースによる設計に依存しており、開発・メンテナンスコストが高く柔軟性に欠けていました。また、検索候補が多すぎる中で関連性の高い求人を拾いきれず、検索上位に表示される内容の質が限定的でした。
解決策
1. リトリーバル層とは
リトリーバル層とは、検索パイプラインにおける最上流のステージであり、全求人候補の中から数千～数万件に絞り込む役割を担います。通常のランキング層とは異なり、高速性と網羅性が求められる一方で、従来はルールやキーワードマッチングに依存していました。本論文ではこの層に教師あり学習を導入し、ユーザーの行動や採用実績から学習した表現ベースのマッチングを適用しています。
2. Promoted求人向け：採用実績に基づくグラフ構築
過去に採用につながった求職者と求人の組み合わせから、職種やスキルなどの属性間の関係を表すグラフを構築。このグラフにより、「どのような求職者がどのような求人に適合するか」を学習し、新たな求人に対して適切なターゲット層を自動的に選定するretrievalルールとして活用します。
3. Organic求人向け：行動ログを使った埋め込み学習
クリックや応募といったエンゲージメントログをもとに、求人とユーザーの特徴をベクトル表現に変換。Two-Towerモデルを用いて類似度計算を行い、従来の静的な検索条件では難しかったパーソナライズを実現しています。
4. GPU上の高速retrievalシステムの構築
検索応答の高速性を保つため、求人全件に対する類似度計算をGPU上で実行可能な形に最適化。キーワード検索（TBR）とベクトル検索（EBR）を組み合わせた構成で、現実的なレイテンシで大規模検索を実現しています。
実験成果
- Promoted求人では、従来より精度を保ちつつ、予算消化率を15%改善。
- Organic求人では、クリック・応募率ともに1〜2%の有意な向上を確認。
この研究は、求人検索の上流処理であるリトリーバル層に機械学習を導入することで、推薦の質とパーソナライズを両立させる新たな枠組みを提示しています。
テーマ2：求人推薦とマッチング予測
検索が「求職者が自ら探しにいく」能動的な行動である一方、推薦は「いま、この人に合った求人を届ける」受動的な出会いを提供する役割を担っています。特に求人サービスにおいては、ユーザーがまだ気づいていない“可能性ある選択肢”を提示できるかどうかが、推薦システムの価値を決めます。
さらに、求人推薦は単なる類似求人の提示にとどまらず、「この人がこの求人に応募するか」「そのマッチングは成功するか」といった応募予測（＝マッチング予測）の精度が求められる領域です。推薦と予測は切り離せない関係にあり、両者を統合的に扱うことが精度向上につながります。
このセクションでは、推薦・マッチング予測の進化を以下の3ステップで追っていきます：
- 2000年代：推薦対象が「人」であることに着目した双方向マッチングの提案
- 2010年代：LinkedInにおける大規模パーソナライズ推薦の実運用
2020年代：Contrastive Learningによるレジュメと求人の意味的マッチング
ユーザーと求人、両者の“選び選ばれる関係”をどうモデリングし、現実の応募行動をどう予測に取り込んでいくか。推薦精度を一段押し上げる技術と工夫を、各論文から読み解いていきます。
[4] Matching People and Jobs: A Bilateral Recommendation Approach
Malinowski, Jochen, et al. "Matching people and jobs: A bilateral recommendation approach." Proceedings of the 39th Annual Hawaii International Conference on System Sciences (HICSS'06). Vol. 6. IEEE, 2006.
https://www.researchgate.net/profile/Jochen-Malinowski/publication/232615527_Matching_People_and_Jobs_A_Bilateral_Recommendation_Approach/links/0a85e534475d3d57a5000000/Matching-People-and-Jobs-A-Bilateral-Recommendation-Approach.pdf
概要
本論文では、求人推薦における「応募者と企業の双方が選び合う」という本質的な構造に着目し、双方向（bilateral）な推薦システムの設計と検証を行っています。商品推薦のような一方向的な推薦ではなく、両者の嗜好と要件を同時に扱うモデルを提案し、CV推薦と求人推薦の統合的アプローチを試みています。
解決する課題
従来の推薦システムは映画や書籍のような「モノ」の推薦に適しており、「ヒト」の推薦には構造的な限界がありました。特に求人領域では、企業と求職者の双方に選好があるにもかかわらず、スキルベースの片方向なフィルタリングに偏っていました。
解決策
1. Person-Job Fit（P-J fit）を理論的基盤とした設計
人と職務の適合性（P-J Fit）を中心に、「能力が業務要求に適合するか」と「仕事が候補者の希望を満たすか」の両軸でマッチ度を定義しています。これに加えて、主観的な適合（本人が合うと感じる）と客観的な適合（属性の一致）を統合的に捉える枠組みを採用しています。
2. CV-Recommender（企業→候補者）
企業側の視点から、過去に評価された履歴書（CV）と類似した候補者を推薦するシステムを構築しています。候補者のスキルや学歴、経験を特徴ベクトルとして扱い、潜在因子モデルにより「属性全体のマッチ度」を学習・スコア化します。
3. Job-Recommender（候補者→求人）
候補者の視点から、過去に好まれた求人の属性に基づいて、志向に合致する求人を推薦するモデルです。CV-Recommenderと同様の潜在因子モデルを用い、応募者の志向性と求人特徴の関係性を教師なしで学習します。
4. Bilateral Matchingの定式化と課題提起
両推薦結果を統合し、企業と候補者の双方向の希望を満たすために、マッチング問題（Bipartite Bilateral Matching Problem）として再定式化しています。パレート最適性や社会的効用の最大化など、推薦の統合方法を複数の観点から理論的に整理し、今後の研究課題として提示しています。
実験成果
- 学生32名の履歴書と求人100件を用いて、CV推薦と求人推薦の双方について予備的な評価実験を行った。
- その結果、推薦上位に人手評価で適合とされた組み合わせが多く含まれ、双方向マッチングモデルの有効性が示された。
この研究は、「人と仕事の推薦」を双方向的に捉え直すことで、今後のパーソナライズドな人材マッチング技術の基盤を築いています。
[5] Personalized Job Recommendation System at LinkedIn: Practical Challenges and Lessons Learned
Kenthapadi, Krishnaram, Benjamin Le, and Ganesh Venkataraman. "Personalized job recommendation system at linkedin: Practical challenges and lessons learned." Proceedings of the eleventh ACM conference on recommender systems. 2017.
https://theory.stanford.edu/~kngk/papers/personalizedJobRecommendationSystemAtLinkedIn-RecSys2017.pdf
概要
本論文では、LinkedInにおけるパーソナライズド求人推薦システムの構築・運用に関する実践的な課題と、それに対する解決策を紹介しています。本システムは、ユーザーのプロファイルや行動履歴をもとに、リアルタイムで関連性の高い求人情報を推薦することを目的としています。
解決する課題
求人推薦には、リアルタイムでの高速処理やスケーラビリティの確保、常に変化する求人・行動データへの対応が求められます。さらに、ユーザーの行動（クリックや応募など）からの暗黙的な意図推定や、特定の求人への応募過多を防ぐバランス制御も重要な課題です。
解決策
1. 候補選定の最適化
多数の求人の中から関連性の高いものを効率的に絞るため、決定木ベースのWANDクエリ生成による候補選定フレームワークを採用しています。このアプローチは検索レイテンシを最大56%削減し、高度なモデルとの併用を可能にしています。
2. パーソナライズされた関連性モデルの構築
ユーザーごとの嗜好に応じたランキングを行うために、一般化線形混合モデル（GLMix）を導入しています。ユーザーや求人ごとの個別パラメータを動的に学習することで、行動履歴に応じた精度の高い推薦が可能になります。
3. 求人市場の最適化
応募の偏りを防ぎ、すべての求人に適切な注目を集めるために、LiJARという予測ベースの応募調整システムを開発しています。LiJARは各求人に対する応募数を動的に予測し、リアルタイムでブーストやペナルティを適用することで応募分散を実現します。
実験成果
- オフライン評価では、GLMixなどの高度なモデルにより、従来手法よりも精度・再現率の向上が確認されました。
- オンラインA/Bテストでは、応募数が20〜40%増加し、特に応募が集まりにくい求人へのエンゲージメントが6.5%改善されました。
この研究は、求人推薦におけるパーソナライズ、即時性、需給調整という実務的課題に対して、実用性とスケーラビリティを兼ね備えたソリューションを提示しています。
[6] ConFit: Improving Resume-Job Matching using Data Augmentation and Contrastive Learning
Yu, Xiao, Jinzhong Zhang, and Zhou Yu. "ConFit: Improving resume-job matching using data augmentation and contrastive learning." Proceedings of the 18th ACM Conference on Recommender Systems. 2024.
https://arxiv.org/pdf/2401.16349
概要
本論文では、履歴書と求人情報のマッチングにおけるラベル不足問題に対処するため、データ拡張とコントラスト学習を組み合わせた新手法「CONFIT」を提案しています。複雑なアーキテクチャに頼らず、シンプルな構成で高品質な埋め込みを学習し、実用性と汎用性を両立したマッチングモデルを実現しています。
解決する課題
求職者が限られた求人にしか応募しないため、履歴書-求人間のインタラクションデータは非常にスパースであり、学習に十分な正例が得られにくいという課題があります。このデータスパース性により、従来の教師ありモデルは性能の限界を迎えていました。
解決策
1. データ拡張による学習データの増強
履歴書や求人情報の一部セクション（例：「経験」「スキル」）をEDAやChatGPTでパラフレーズ（言い換え生成）し、意味的に同等なデータを多数生成します。これにより、ラベル付きペア数を大幅に増やし、モデルの学習安定性と汎化性能を向上させます。
2. コントラスト学習による埋め込み表現の強化
拡張されたデータセットを用いて、コントラスト学習を行います。これにより、同一の意味を持つ履歴書と求人情報のペアを近づけ、異なる意味を持つペアを遠ざけるような埋め込み空間を学習します。この手法は、バッチ内のペア数をBからO(B²)に増加させ、学習効率を高めます。
3. 効率的な検索のための内積ベースのスコアリング
学習された埋め込み表現を用いて、履歴書と求人情報の内積を計算することでマッチングスコアを算出します。これにより、FAISSなどの高速な近似最近傍検索ライブラリと組み合わせて、大規模なデータセットにおいても迅速な検索が可能となります。
実験成果
- AliYunおよびIntelliproという2つの実世界データセットを用いて、履歴書・求人のランキングおよび分類性能を評価しました。
- その結果、従来手法（BM25やOpenAIのtext-ada-002）と比べて、履歴書ランキングで最大31%、求人ランキングで最大19%のnDCG@10における絶対的改善を達成しました。
この研究は、シンプルながら実用的な手法により、履歴書と求人情報のマッチング精度を大幅に向上させる有望なアプローチを提示しています。
テーマ3：履歴書解析と属性抽出
履歴書や職務経歴書に記された情報は、求人とのマッチング精度を左右する最も重要なインプットのひとつです。しかし、それらは往々にして自由記述で書かれており、内容や形式も人によって大きく異なります。そのままでは機械が理解・比較できず、推薦や検索に活かすには「構造化された属性情報」として抽出・整形する必要があります。
たとえば、「Java経験5年」と書かれた記述がどの職務に紐づいているか、あるいは「大規模開発に従事」といった曖昧な表現からどのスキルを読み取るべきか。これらは、人間には容易でも、機械には極めて難易度の高いタスクです。
このセクションでは、履歴書や求人票からの情報抽出に関する技術の進化を、
- ルールベースと統計モデルの組み合わせによる初期手法
- 大規模スキルタクソノミーの自動生成と標準化
- BERTベースのモデルを活用したスキル抽出と分類
という時代ごとの潮流で振り返ります。自由形式の文書をどのように「機械可読な構造」に変換し、それを推薦やマッチングへとつなげていくか — 求人サービスの中核を支える技術の1つとして、その最前線をご紹介します。
[7] Resume Information Extraction with Cascaded Hybrid Model
Yu, Kun, Gang Guan, and Ming Zhou. "Resume information extraction with cascaded hybrid model." Proceedings of the 43rd annual meeting of the Association for Computational Linguistics (ACL’05). 2005.
https://aclanthology.org/P05-1062.pdf
概要
本論文では、履歴書からの情報抽出において、文書構造を活かした2段階のカスケード型手法を提案しています。まず履歴書を「個人情報」「学歴」「職歴」などの一般的な情報ブロックに分割し、その後、各ブロック内から「氏名」「住所」「学位」などの詳細な情報を抽出することで、高精度かつ柔軟な情報抽出を実現しています。
解決する課題
履歴書は構造がばらばらで、書式や表現が多様であるため、汎用的な情報抽出が難しいという課題があります。さらに、従来のフラットな抽出手法では、文書の階層的構造（ブロック→詳細情報）をうまく活用できていませんでした。
解決策
1. 一般情報ブロックの抽出（HMM）
履歴書を段落単位に分割し、HMMにより「個人情報」「学歴」などの一般情報ブロックラベルを割り当てます。ブロック間にある程度の出現順序パターンが存在するため、状態遷移モデルであるHMMが有効に機能します。
2. 詳細情報の抽出（SVMとHMMの使い分け）
ブロック内の詳細情報は、情報の特性に応じて分類手法を使い分けます。順序性のある学歴情報はHMMで、独立して現れる個人情報はSVMで抽出し、それぞれの精度を最大化します。
3. ユニット分割と特徴量設計
ブロック内のテキストは、記号や改行などで分割された「ユニット」に区切られ、SVMはそれぞれのユニットにラベルを割り当てます。特徴量には単語のTF-IDFや、名前・メールアドレスなどの固有表現（Named Entity）が用いられます。
4. ファジーブロック選択による精度向上
ブロック判定の誤差を補うため、対象ブロックの前後も含めて詳細情報を抽出する「ファジーブロック選択戦略」を導入します。これによりRecall（再現率）を向上させ、Fスコア全体の改善に寄与します。
実験成果
- 1,200件の中国語履歴書を用いた実験により、カスケード型モデルはフラットモデルと比較して最大7.4ポイントFスコアを改善しました。
- 特に学歴情報では73.40%、個人情報では80.44%のFスコアを達成し、固有表現を特徴量に用いることで名前などの抽出精度が大幅に向上しました。
この研究は、履歴書の階層構造を活かして情報抽出を段階的に行うという実用的かつ効果的なアプローチを提示しており、今後の構造文書処理における指針となる可能性を示しています。
[8] LinkedIn Skills: Large-Scale Topic Extraction and Inference
Bastian, Mathieu, et al. "Linkedin skills: large-scale topic extraction and inference." Proceedings of the 8th ACM Conference on Recommender systems. 2014.
https://www.researchgate.net/profile/Mathieu-Bastian/publication/266387405_LinkedIn_Skills_Large-Scale_Topic_Extraction_and_Inference/links/542f30500cf29bbc1272569d/LinkedIn-Skills-Large-Scale-Topic-Extraction-and-Inference.pdf
概要
本論文では、LinkedInにおけるスキル情報を構造化・推論・活用するための、大規模スキル処理システムの設計と応用を紹介しています。自由入力されたスキルデータを自動で正規化・分類し、検索・推薦・プロフィール補完などの各機能に統合する枠組みを構築しています。
解決する課題
- LinkedInのメンバープロフィールに含まれるスキルは非構造的で、タイポや類義語、曖昧語が混在しており、そのままでは検索や推薦に活用しにくい問題があります。
- また、スキルを入力していないユーザーが多く、推薦開始が困難な「cold start」問題や、語彙の多様性・データスケールの増加により、高精度かつスケーラブルな処理基盤が求められていました。
解決策
1. フォークソノミー（Folksonomy）生成
ユーザーが自由入力したスキル候補を正規化し、類義語のクラスタリングやWikipediaマッピングを通じて約40,000語のスキルトピック辞書を構築しました。クラスタ間のスキル共起情報からグラフを生成し、多対多の柔軟な関係を持つスキルネットワークを形成しています。
2. スキル推論アルゴリズム（Inference）
職種、業界、所属企業、グループなどのユーザー属性と、過去の入力データに基づいて、スキルの存在確率を学習します。ランキングモデルはユーザー行動ログをもとに構築され、検索・推薦時のスキル補完に使われます。
3. 推薦UIとデプロイ設計
推論されたスキルは、ユーザーに明示的に提示され、承認を経てプロフィールに追加されます。オンライン・バッチのハイブリッド処理基盤により、数億人規模の会員に対して日次での推薦更新が可能です。
実験成果
- 推論モデルは、数百万件の行動ログを用いた学習により、実運用レベルで高精度なスキル推薦を実現しています。
- ユーザーへのスキル表示により、スキル追加率は非提示時の10倍以上に増加し、スキルを未入力のユーザーにも95%以上のカバレッジを達成しました。
活用アプリケーション
- 構築されたスキルグラフと推論モデルは、Endorsements機能（スキルの他者承認）、求人検索時のQuery Expansion、求人推薦のランキング強化などに利用されています。
- これにより、スキルを軸とした検索精度の向上、候補者発見性の強化、求人とのマッチング精度向上に貢献しています。
この研究は、スキルという構造的知識を用いて、LinkedIn上のプロフィール強化・検索精度向上・求人推薦最適化を同時に実現する、汎用性とスケーラビリティを備えた情報抽出・推論基盤を提示しています。
[9] SkillSpan: Hard and Soft Skill Extraction from English Job Postings
Zhang, Mike, et al. "SkillSpan: Hard and soft skill extraction from English job postings." arXiv preprint arXiv:2204.12811 (2022).
https://arxiv.org/pdf/2204.12811
概要
本論文は、英語の求人投稿からハードスキルとソフトスキルを高精度に抽出するための、新たなアノテーション付きデータセット SKILLSPAN を提案しています。このコーパスは、求人文約14,500文に対して12,500件以上のスパンを専門家が手動でラベル付けした、初のスパンベースかつソフトスキル対応の大規模公開データセットです。
解決する課題
既存研究では、スキル抽出が主にハードスキルに偏っており、ソフトスキルの定義やラベル付け基準が曖昧で一貫性に欠けていました。また、スパン単位でアノテートされた高品質なデータセットが不足しており、現実的なジョブマッチング応用やスキル分類モデルの性能評価が困難でした。
解決策
1. SkillSpanデータセットの構築
米国の求人サイトから収集した文書を対象に、スキルと知識（ハード/ソフト）を分けてスパン単位でアノテートしました。スパンは最小意味単位でラベル付けされ、BIO形式を使いつつも意味的に過不足のない表現が抽出されています。
2. 抽出モデルとドメイン適応
ベースラインとしてBERTを用いたトークン分類モデルを構築し、SpanBERTやLongformerなどの高性能モデルを比較に導入しました。さらに、求人文で事前学習を行った JobBERT や JobSpanBERT を用いてドメイン適応を行い、性能を大幅に向上させました。
3. 学習設計と課題定義
ソフトスキルとハードスキルを同一ラベル空間で学習する単一タスクと、個別に学習するマルチタスクを比較評価しました。評価にはスパン完全一致に基づく Precision / Recall / F1 を用い、スパン長による性能差やカテゴリ別精度も分析しました。
実験成果
- 求人特化の事前学習を施したJobSpanBERTは、ベースラインより最大5ポイント以上高いF1スコアを記録し、特にソフトスキル抽出で大きな改善が見られました。
- 一方、マルチタスク学習はソフトスキル側の性能が低下する傾向があり、単一タスクの方が安定して高い精度を示しました。
この研究は、求人文におけるハードスキルとソフトスキルを高精度に識別するための基盤として、高品質なデータ・評価指標・モデル戦略を包括的に提供し、スキル抽出研究と実応用の双方において重要な前進を示しています。
テーマ4：離職予測と定着分析
どれだけ優れた人材を採用できたとしても、早期離職が続けば組織の成長は頭打ちになります。だからこそ近年、多くの企業が「従業員がどのタイミングで、なぜ離職するのか」を事前に把握しようと、離職予測にAI・機械学習を活用するようになってきました。
離職の予測は単なる「Yes/No」の分類だけでなく、「どのくらいの確率で」「どんな特徴の人が」「いつ頃に」離職しやすいのかを多面的に捉える必要があります。しかも、離職には個人の事情だけでなく、組織環境、同僚の行動、競合企業の影響といった要素が絡み合います。
このセクションでは、離職予測に関する研究を以下の3つの視点で紹介します：
- 2000年代：ニューラルネットワークを用いた先駆的な予測手法
- 2010年代：サバイバル分析とランダムフォレストを組み合わせた時系列モデル
- 2020年代：Transformerを活用し、他者の離職や競合企業の影響も加味した予測モデル
「辞めるかどうか」だけでなく「辞めたくなるのはどんなときか」という問いに、データからどう迫れるのか。人の意思決定という複雑な現象を定量的に読み解く挑戦に触れていきます。
[10] Employee Turnover: A Neural Network Solution
Sexton, Randall S., et al. "Employee turnover: a neural network solution." Computers & Operations Research 32.10 (2005): 2635-2651.
https://www.sciencedirect.com/science/article/abs/pii/S0305054804001534
概要
本研究は、従業員の離職（特に1年以内の自発的離職）を高精度に予測するために、ニューラルネットワークと進化的最適化（NNSOA）を組み合わせたモデルを提案しています。提案手法は、実際の製造業従業員データに基づく実験で、他の分類手法を上回る高い予測性能と解釈性を実現しました。
解決する課題
従来の離職予測モデルでは、精度不足や過学習の問題、最適なモデル構造や入力変数の選定が手作業に依存していました。また、分類精度だけでなく、重要な予測因子を特定して人事戦略に活かす仕組みが不十分でした。
解決策
1. NNSOAによる構造最適化付きニューラルネットワーク
進化的アルゴリズムに基づくNNSOAは、ネットワークの重み、接続構造、隠れノード数を同時に最適化します。これにより、不要な接続は自然に0となり、特徴選択・モデル簡素化・過学習抑制を自動で実現できます。
2. 入力特徴量とデータ構造
中西部の小規模製造企業の従業員データを用い、年齢、給与、勤続年数、評価スコアなどを含む約30変数を入力としました。データは2クラス分類（離職 / 非離職）として構成され、10-fold交差検証によりモデルを評価しました。
3. 比較実験設計
提案手法は、標準的なMLP、ロジスティック回帰、C4.5決定木、GAベースNNと比較されました。評価指標として、分類誤差、誤検出（Type I/II）率、変数選択数、隠れノード数を用いて性能を比較しました。
実験成果
- NNSOAモデルは、平均誤分類率0.68%、Type IIエラー率5.83%と、すべての比較手法を上回る高精度を示しました。
- さらに、不要な特徴量の94%以上を削除しつつ、勤続年数や最終給与などの重要変数を自動抽出できた点で、予測と説明の両立が達成されました。
この研究は、離職予測における構造最適化型ニューラルネットワークの有効性を実証するとともに、実務現場で活用可能な“解釈可能なAI人材モデル”の設計手法として高い応用可能性を提示しています。
[11] CoxRF: Employee Turnover Prediction Based on Survival Analysis
Zhu, Qianwen, et al. "CoxRF: Employee turnover prediction based on survival analysis." 2019 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation (SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI). IEEE, 2019.
https://www.researchgate.net/publication/340550544_CoxRF_Employee_Turnover_Prediction_Based_on_Survival_Analysis
概要
本研究では、従業員の離職予測における時間的側面を捉えるために、Cox比例ハザードモデルとランダムフォレストを統合した新手法「CoxRF」を提案しています。中国の大規模ソーシャルプラットフォームから得た実データを用いて、CoxRFの予測精度と解釈可能性が他手法を上回ることを実証しました。
解決する課題
従来の離職予測手法は主に個人単位・静的データに基づく2値分類であり、離職の「発生タイミング」や検閲（censoring）されたデータを十分に活用できていませんでした。また、長期的なキャリア履歴や外部環境要因など、多様な時間依存情報を含む実世界データのモデリングに適さないという課題もありました。
解決策
1. イベント中心の問題定義とサバイバル分析の応用
離職を「ある職務・ある時点で発生するイベント」と再定義し、event-person-timeという3次元的な構造で問題を定式化しました。Coxモデルによって離職の発生確率（ハザード率）を推定し、その出力を新たな特徴量としてランダムフォレストに入力することで、分類精度と時間依存性の両立を図ります。
2. 特徴量設計
設計した特徴量は、個人属性（性別、学歴）・職務履歴（職位、勤続年数、転職回数）・社会的影響（SNS活動、影響スコア）・マクロ経済指標（GDP成長率）など24種類におよびます。時間変化する特徴と変化しない特徴を区別し、各イベントごとに時点ベースで特徴を動的に再構築しました。
3. モデル評価
CoxRFは、ロジスティック回帰、SVM、決定木、XGBoostなど6手法と比較され、Accuracy・F1・AUCで最良の結果を達成しました。また、Gini重要度に基づく特徴分析により、性別やGDP成長率、業界・学歴といった要因が離職傾向に強く影響することも明らかにされました。
実験成果
- CoxRFは、Accuracy 84.8%、F1 77.0%、AUC 0.905と、全ベースライン手法を上回る高い予測性能を記録しました。
- さらに、生存分析によって得られた知見から、IT業界や高学歴層の離職率の高さ、女性の離職傾向、GDP成長率の影響といった実務的な洞察も得られました。
この研究は、生存分析の解釈性と機械学習の柔軟性を融合し、離職予測の「いつ・誰が・どこで辞めるか」を高精度かつ実用的に予測する新たな枠組みを提示しています。HRテック領域における実務応用と政策設計の両面で貢献するモデルです。
[12] Employee Turnover Prediction: A Cross-component Attention Transformer with Consideration of Competitor Influence and Contagious Effect
Liu, Hao, and Yong Ge. "Employee Turnover Prediction: A Cross-component Attention Transformer with Consideration of Competitor Influence and Contagious Effect." arXiv preprint arXiv:2502.01660 (2025).
https://arxiv.org/pdf/2502.01660
概要
本研究では、従業員の離職予測において、従業員、企業、競合企業、同僚の離職など複数の要因を統合的かつ動的に扱う新しいモデル「CATCICE」を提案しています。このモデルは、複数企業を横断した個人単位の予測を実現し、離職の社会的・構造的側面を含めて高精度な推定を可能にします。
解決する課題
従来の研究は、主に単一企業内における静的な個人分析や、企業間レベルの流動傾向把握にとどまり、「企業横断かつ個人レベルでの時系列的離職予測」には対応していませんでした。特に、競合企業の吸引力や、同僚離職の伝播的影響（離職の“感染”）を動的に考慮できる枠組みはほとんど存在せず、実務や戦略への応用に限界がありました。
解決策
1. Job Embeddedness 理論に基づく特徴設計
従業員、企業、両者の関係性に関する特徴量を、Fit・Links・Sacrificeの観点から整理し、時系列的に動的変化を捉える構造としました。これにより、心理的・社会的な離職抑制要因を理論に基づいてモデル化しています。
2. 競合企業の影響（Competitor Influence）
人材移動データから企業間の競合ネットワークを構築し、HOPE（High-Order Proximity preserved Embedding）によって高次関係を保持した企業埋め込みを生成。これを用いて、各従業員が現在の企業からどの競合に引き寄せられやすいかを定量的に表現しました。
3. 離職の伝染効果（Contagious Effect）
同じ企業・同職種の他者の離職履歴から離職伝播グラフを構築し、HOPEで埋め込みを取得。従業員がどれだけ他者の離職行動に影響されているかをモデル内で扱えるようにしました。
4. クロスコンポーネント注意付きTransformer（CATCICE）
5つの系列（従業員、企業、関係、競合、伝染）をそれぞれ独立にSelf-Attention（Transformerエンコーダ）で時系列的文脈を捉えた後、それらの系列間の相互依存性をCross-Attentionで統合的に学習。これにより、個別の情報ブロックの内部構造と、相互作用の両方を動的かつ高次にモデリングできます。
5. 実務応用への展開
モデル導入による採用コスト削減、離職リスクの早期把握、戦略的介入などの効果をシミュレーションし、実運用価値を提示しました。
実験成果
- CATCICEは、XGBoost、RNN、RetainEX、BERT4Recなどの既存手法をすべての評価指標（AUC, PR-AUC, F1など）で上回りました。
- 特に、競合企業と同僚離職の影響を加味したことが精度向上に大きく寄与し、Attention重みによって離職要因の可視化も実現しました。
この研究は、離職を「企業内の個人要因」ではなく、「企業間・人間関係ネットワーク上の動的な現象」として再定義し、多要因・多視点・時系列依存の離職モデリングにおいて理論と実務をつなぐ新しい枠組みを提示しています。
テーマ5：バイアスと公平性の分析
AIは過去のデータから学習する — これは機械学習の強みであると同時に、大きな落とし穴でもあります。過去の選考や応募結果に社会的なバイアスが含まれていれば、AIはそれを“正解”として学習してしまい、将来の判断にも偏りを引き継いでしまいます。
実際に、性別や国籍といった属性によってスコアが下がったり、スキルが同じでも推薦順位が変わったりといった現象は、いくつもの実サービスで報告されています。特に求人推薦や履歴書スクリーニングのように、キャリアに直接影響を与える分野では、アルゴリズムの公平性は極めて重要な論点です。
このセクションでは、以下の3つの観点からAIにおけるバイアス対策の研究を取り上げます：
- 表示順位における属性バイアスを抑える再ランキング手法
- 言語表現に起因する文化・民族バイアスの補正
- 性別などの推定につながる語彙を除去する“脱ジェンダー化”の取り組み
「精度が高いこと」だけではAIを社会に適用できない時代が来ています。どのようにして“バイアスの少ない推薦”を設計するか — その最前線を論文から学んでいきましょう。
[13] Fairness-aware Ranking in Search & Recommendation Systems with Application to LinkedIn Talent Search
Geyik, Sahin Cem, Stuart Ambler, and Krishnaram Kenthapadi. "Fairness-aware ranking in search & recommendation systems with application to linkedin talent search." Proceedings of the 25th acm sigkdd international conference on knowledge discovery & data mining. 2019
https://arxiv.org/pdf/1905.01989
概要
本論文は、LinkedInのタレントサーチにおいて、性別などの保護属性に基づく表示バイアスを緩和するためのフェアネス対応再ランキングアルゴリズムを提案します。提案手法は実際に本番環境へ導入され、数億人規模のユーザーに対して影響を与える初の大規模フェアネス施策として実証されました。
解決する課題
従来の検索・推薦システムでは、性別や年齢といった保護属性に基づく不均衡なランキング表示が放置され、特定の属性グループが継続的に不利な扱いを受けていました。この偏りは学習データに含まれる社会的バイアスや行動ログの反映によって生じ、雇用機会の公平性やダイバーシティ確保に深刻な影響を及ぼす可能性があります。
解決策
1. 公平性の定義と測定方法の設計
ランキング上における属性間の表示機会の偏りを測るため、Skew、KLダイバージェンス、NDKL（Normalized Divergence）などの定量指標を導入。さらに、属性制約の違反数（InfeasibleCount）やその発生位置（InfeasibleIndex）を指標化し、公平性の達成度を定量的に監視可能にします。
2. 再ランキングの基本的な考え方（何をどう変えるのか）
既存のランキングは、関連スコアの高い順に並んでいますが、それだけでは特定の属性（例：女性）が上位に現れにくいというバイアスが残ります。 再ランキングアルゴリズムでは、「属性のバランスを見ながら、なるべく元のスコア順位を壊さずに並び替える」ことで、公平性と精度のトレードオフを最適化します。
たとえば：
- 元の上位10人が全員男性なら、スコアが少し低くても女性候補を一部上位に押し上げる
- ただし関連性スコアを完全に無視せず、「できるだけ元順位に近い形」で調整する
このようにして、「バイアスは減らすが、実用上の品質は落とさない」を実現しています。
3. 公平性制約付き再ランキングアルゴリズムの設計
提案された再ランキング手法には、DetGreedy（貪欲選択）、DetCons（保守的制約順守）、DetRelaxed（制約緩和型）、DetConstSort（理論保証付きソート）の4種類があります。特にDetConstSortは、あらかじめ設定された属性制約を必ず満たすランキングを生成できる唯一の手法であり、理論的にも安定性が保証されています。
4. 公平性概念との整合性と実装戦略
本フレームワークは、Demographic Parity（構成比の均等）や Equality of Opportunity（条件付き機会均等）といった理論的フェアネス指標と整合可能です。ターゲット分布を調整することで、サービスごとの倫理方針や業務目標に応じた公平性設計が可能となっています。
実験成果
- 再ランキングによって、性別表現の偏り（Skew）が大幅に改善し、Top-k表示におけるバランス指標も33% → 95%へと向上。
- 一方で、InMailの送信率や応答率などのビジネスメトリクスには統計的に有意な悪影響は確認されず、実用性が担保されました。
この研究は、検索や推薦における公平性を「測定可能な目標」として定式化し、それを現実の大規模システムで制御・実装可能にした初の実証例であり、責任あるAI活用の重要な一歩を示しています。
[14] Mitigating Demographic Bias in AI-based Resume Filtering
Deshpande, Ketki V., Shimei Pan, and James R. Foulds. "Mitigating demographic Bias in AI-based resume filtering." Adjunct publication of the 28th ACM conference on user modeling, adaptation and personalization. 2020.
https://par.nsf.gov/servlets/purl/10281665
概要
本研究は、AIを用いた履歴書マッチングにおける国籍・民族に起因するバイアスの存在を実証し、それを緩和する新手法「fair-tf-idf」を提案します。この手法は、文書中の語彙がどの属性グループに偏って現れるかを考慮して重みを調整し、公平性を損なわずにマッチング精度を維持する実用的な方法です。
解決する課題
従来の TF-IDF による文書マッチングは、語彙や文体の違いが民族・出身国によって構造的に異なることに無自覚であり、結果としてマレー系やインド系の応募者が過剰に高評価され、中国系応募者が不当に不利になる傾向が見られました。既存手法にはこのような社会言語的バイアス（socio-linguistic bias）を除去・緩和する機構がなく、公平性の担保が困難でした。
解決策
1. 属性バイアスに応じた語彙重み調整（fair-tf-idf）
語ごとに「p-ratio」（属性グループ間での出現比率）を算出し、特定グループに偏って使われる語彙の IDF 重みを下げる仕組みを導入。これにより、「finance」「reporting」など業務スキル関連語は維持され、「Kong」「China」など属性依存語は弱められます。
2. シグモイド関数による調整の柔軟化（sigmoid fair-tf-idf）
p-ratio に対してシグモイド関数を適用し、調整の強さをハイパーパラメータ λ（閾値）と τ（傾き）で制御可能にしました。これにより、企業ポリシーに応じて公平性とマッチング精度のトレードオフを柔軟に最適化できます。
3. 複数手法との比較実験による検証
TF、TF-IDF、fair-TF、fair-TF-IDF、LNR（属性制限付きランキング）を用いて、135件のレジュメと9件の求人票を評価。LNRは完全な属性均衡を実現するが、属性情報の利用を前提とし現実的でない。一方、fair-tf-idf（sigmoid 付き）は、精度と公平性のバランスで最良の結果を示しました。
実験成果
- 提案手法は、86.66%のマッチング精度を維持しながら、フェアネス指標を0.923まで改善し、精度と公平性の両立を実現しました。
- t-SNE 可視化では、属性別に分かれていた履歴書クラスタが、fair-tf-idf 適用後には混ざり合い、属性に依存しないマッチング空間が形成されていることが確認されました。
この研究は、採用 AI における語彙バイアスという見えにくい構造的不公正を軽量かつ実用的な方法で緩和する初のアプローチの一つであり、他の保護属性（性別・年齢など）への拡張性も高く、倫理的かつ透明な人材選考支援技術への道を拓くものと位置づけられます。
[15] Degendering Resumes for Fair Algorithmic Resume Screening
Parasurama, Prasanna, and João Sedoc. "Degendering resumes for fair algorithmic resume screening." arXiv preprint arXiv:2112.08910 (2021).
https://arxiv.org/pdf/2112.08910
概要
本研究は、AIによる履歴書スクリーニングにおいて性別バイアスがどの程度含まれているかを分析し、その影響を低減するために履歴書から性別手がかりを段階的に削除する「degendering」手法を提案・検証しています。約70万件の実レジュメを用いた大規模実験により、性別情報をある程度まで除去してもスクリーニング性能を維持できることが示されました。
解決する課題
履歴書には名前や職歴といった明示的な情報以外にも、語彙選択や文体などを通じて性別を推定可能な手がかりが多数含まれており、それがスクリーニングモデルに無意識に組み込まれることで構造的バイアスが発生していました。このような性別バイアスは、AIによる選考において女性やノンバイナリー応募者の不利益を再生産する危険性があるにもかかわらず、履歴書単位での実証分析と対処法はこれまでほとんど存在していませんでした。
解決策
1. 履歴書に含まれる性別情報の検出と定量化
ロジスティック回帰＋TF-IDF による性別分類器を構築し、履歴書から性別を高精度に予測できてしまうこと（AUC 0.88）を示しました。これにより、明示的な性別記述がなくても、文書全体から性別が推定されうることが明らかになりました。
2. 性別に関連する語彙の削除（degendering）による除去シミュレーション
分類器の重みから抽出した上位 gendered terms を削除していくことで、AUC を 0.60 近くまで低下させ、性別予測が困難になるまでの削除範囲を特定。削除対象は名前や代名詞だけでなく、「collaborated」「organized」などの語彙選択や表現スタイルに関わる語が含まれていました。
3. マッチング精度とのトレードオフ分析
gendered terms を段階的に除去した履歴書を求人マッチングモデルにかけたところ、初期段階の除去では精度がほとんど劣化せず、公平性向上とスクリーニング性能の両立が可能であることが示されました。ただし、語彙を削除しすぎると職務適合に必要な情報も失われるため、最適な削除量の見極めが重要であると結論づけられています。
実験成果
- 性別分類性能は段階的語彙削除により AUC 0.88 → 0.60 まで低下し、gender signals を履歴書からある程度まで除去可能であることが実証されました。
- 一方、スクリーニング精度は語彙削除の初期段階では維持され、公平性と精度のトレードオフの最適バランスが存在することが示唆されました。
この研究は、AI採用システムにおける性別バイアスを文書レベルで制御可能であることを初めて大規模に示した実証的アプローチであり、今後は他の保護属性（人種・年齢など）への応用や面接以降のフェーズへの展開が期待されます。
おわりに
本記事では、「検索」「推薦」「履歴書解析」「離職予測」「公平性」という5つの観点から、求人サービスにおけるAI/機械学習活用の代表的な研究を紹介してきました。
これらの論文に共通するのは、「ただ精度を上げるだけでなく、ユーザー一人ひとりの文脈に寄り添った体験をどう実現するか」という視点です。
また近年では、モデルの性能だけでなく、その振る舞いの透明性や公平性といった“責任あるAI”の観点も重視されるようになってきました。
もしあなたが、
- 既存の求人検索・推薦に限界を感じている
- ユーザーごとに最適な体験を提供したい
- AI活用の方向性や実装方法に迷っている
と感じているなら、技術の見直しや再設計に取り組む絶好のタイミングかもしれません。
私たち株式会社ケンサクでは、検索結果のパーソナライズを通じて、求人体験そのものの質を向上させるAPI「HottyLTR」を開発・提供しています。
AI活用の技術選定から実装・運用、そして公平性の設計まで、伴走型での支援が可能です。
「どこから着手すればいいか分からない」といった初期段階のご相談も歓迎です。
ご興味をお持ちいただけましたら、以下のお問い合わせフォームよりお気軽にご連絡ください。