(お蔵入り)Kaggleで優勝したときの体験談

Kaggleの大会で優勝したときの体験談を紹介します(だいぶ前の話です)

取り組み

• 3人でチームを組んで挑戦
• 作業中はずっとZoomをつけていた(だいたい朝6時から夜10時まで)
  • 意図
    • 雑談レベルでもいいので、常に話せる状態にしておけば、ちょっとした悩みでも相談しやすい
      • やっぱり日頃しょうもない話もしない人にいきなり頼み事っていうのは難しい
• 今日やることや議論した内容は、Slackのグループチャットに貼り付けてた
  • 意図
    • 言語化することで、ふわっとした理解をなくすため
    • どういった改善を今日、誰がするかを明確にするため
      • 当初はGitHubの運用も考えたけど、3人だったし、スピード優先で各々が別々のアルゴリズムを作ることにした
      • 終盤になって、アルゴリズムをアンサンブルする段階からGitHubでプルリクエストとレビューをするようになった

---

作業時間

• 約3週間で250時間
  • 最初の2週間は日中に仕事しつつも、朝晩はずっとKaggle生活
  • 最後の1週間は有給を取って、すべてKaggleに時間を割り当てた
    • 5:00 - 22:00の間は、食事と風呂以外Kaggleだった
      • 作業時間をメモしてたけど、週に110時間(毎日16時間)Kaggleやってた
  • 寝る前は、必ず数値実験を開始するようにして、1回でも多く試行錯誤できるようにした

---

気づいたこと

• 優勝するとは思ってなかった
  • ゴールドメダル(上位1%)狙いで、チームを組んでいた
  • ただ、違和感は感じてた
    • フォーラムで他のチームが共有してくださった改善方法を試してたけど、報告ほどスコアが改善しないという話を何度かしてた
      • 理由を考えたときに、他の競争相手とアプローチが違うのでは？という予想が出てた
        • 実際、全然違ったのが原因だった
          • みんなはマシンパワーで大量の良いモデルを作ってたところを、少ないモデルだけど条件によって動的に意見の採用度合いが変わる仕組みにしていた
            • 熱帯雨林や特殊な鳥だと、このモデルを尊重といった感じ
        • あと、スペックも全然違った
          • みんなGPUを何台何十台と使ってたのに、うちらだけGoogle Colaboratoryを使ってて、笑った
          • あとで、他の参加者から、「そういうスペックでもアイデアと工夫で勝っててすげえな」って言ってもらえたのが印象に残っている
• 上位をとる人たちはみんな頑張ってる
  • それまでは、Kaggleの上位の人達は、遥か彼方雲の上の存在で、頭の良さが全然違って、余裕でやってるんだろうなーと勝手に想像してたけど、違った
    • みんな、下手すると私達よりも時間かけてた
    • 提出回数と提出にかかる時間から、おおよその毎日の作業量が推定できたけど、同じぐらいやってることに気づいた
      • 天才って言われる人たちほど、努力してることにこのとき気づいた
• 最後は運だった
  • 最終成果物の選択を、最後の一時間ぐらいになったときに変更してくれたのが良かった
    • 公開順位表で、1番のスコアと少し下がるけど多様性を重視した3番のスコアを選んだ
      • 実際、3番のスコアが最終順位表だと一番良かった
    • そのままだと2位だった
      • 未だに「かみさまありがと」って思ってる
• ブラックすぎてすまんって思ってた
  • 仕事だったら訴えられるレベルだなとか思ってた
  • チームの医学生には国家試験が控えてたのにすまんって謝ってた
    • 「国家試験は余裕なので大丈夫ですよ」って言われたときには救われた
• 雑談は大事
  • 遠隔でもいいけど、軽口を交わせるぐらいの環境は必要と気づけた
• 結果が出て数時間後には別の大会に参加してた
  • 最初喜んでたけど、2時間ぐらいで冷静になって、コードを書き始めてた
    • 他人からの称賛はあんまり長続きしないといった内容をどっかで読んだことがあるけど、ホントだなと思った記憶がある
      • 確か、ノーベル賞の受賞者も数時間ぐらいで喜びが消えたみたいな話だったと思う

---

まとめ

• メンバーみんなで勝ち取った優勝だった
  • 誰一人欠けてもだめだったし、みんなの強みを活かせたことが良かった
• 頭のいい人たちは、想像以上に努力してる

---

アニメ『メダリスト』を観て、ポエムを書きたくなったもので...。
ここまで読んでくださりありがとうございました。