はじめに

こんにちは👋
東京工業大学(あと半月でScience Tokyo)スラヴァキス研究室学部4年の吉田晃太朗です。
普段は、深層学習における最適化や分布外汎化、キャリブレーション、などを中心に研究を行っています。

今回は、2024/9/4~6で大阪にて開催されたYANS2024に初めて参加をしてきたため、その報告ブログを書こうと思います。

恥ずかしながら、今回が対面でのアカデミアイベントの参加及び発表が初めてでしたので、未来の同じような境遇の方々に少しでも有益な情報となるよう願っています🙏

YANSについて

YANSは、言語処理若手シンポジウムの略称であり、年に一度、”自然言語処理，計算言語学および関連分野の，若手研究者および技術者の学問研究および技術開発の促進をはかり，参加者の相互交流および成長の場を提供”すること、を目的として開催されるシンポジウムです。

名前の通り、B3~M2の学生を中心とした若手の研究者が集まり、各々の未だ未完成な研究を共有し、フォードバックをもらう機会という位置付けになっています。大学やスポンサー企業様からの多くのベテラン研究者の方々も多く参加され、そういった方々から非常に有益なフィードバックを頂けます。

参加報告

チュートリアル

by 佐藤竜馬さん

国立情報学研究所 (NII) で助教をやられている佐藤竜馬さんによる、"ニューラルネットワークの損失地形"についての講演を拝聴しました。
最近非常にアツくなってきているModel merge系(SWA, Model soup, Task arithmetic, etc...)に興味があり、その関係で深層学習の損失地形について勉強したいと思っていたため、このチュートリアルは絶対に出ようと決めていました。

損失地形を説明するための基礎的な概念(平坦解, 先鋭解, etc...)から、近年のトレンドまで、非常にわかりやすく丁寧に説明してくださいました。

#YANS2024 のチュートリアル講演『ニューラルネットワークの損失地形』のスライドを公開しました https://t.co/kdbQpdSpib
— 佐藤竜馬 / Ryoma Sato (@joisino_) September 5, 2024

by 荒居秀尚さん

Turingの荒居秀尚さんによる、"生成aiの二大潮流と自動運転"についての講演を拝聴しました。
自動運転は非常に聞き馴染みのあるワードではありますが、近年の自動運転が実応用の世界でどこまで進化しているかについては全く知らなかったため、非常に興味深い講演でした。
今の自動運転を司る生成AIモデルについての説明から、現在Turingが目指す完全自動運転に向けた展望まで、丁寧に説明してくださいました。

本日10:30からYANS2024でチュートリアルを担当させていただきます。
こちらはそのスライドです。

自動運転に生成AIを活用するという試みについてお話しさせていただきます。https://t.co/KviB5pTvPC
— Hidehisa Arai (@kaggle_araisan) September 6, 2024

ポスター発表

先述の通り、学会を含むこういったイベントへの初の対面での参加&発表でしたので、ポスター発表とは？？が出発点でした。そのため、YANS2024専用のSlackに設置されている"学会初参加"チャンネルにて、ポスター発表の基本的な立ち回りであったり、Tipsを伺ったところ、運営の方々が丁寧に教えてくださいました。こういった、学会初心者へのサポートも非常に手厚いのもYANSの特徴だと思います。

発表の様子

シンポジウム2,3日目を通じて、1回1時間の計5回のセクションに分けられ、各セクションで大体40人がパラレルで発表を行なっていました。40人もの人が各々の研究を熱意をもって発表するため、小さな声だと聞き取りづらい状況でした。発表側も質問側も大きな声で話すことを心がけた方が良さそうでした。

多くの学生が、各々の斬新なアイディアを熱意をもって発表し、活発な議論が展開されていました。私も、議論を通して多くのことを学ぶことができました。

若手の発表だけでなく、"招待ポスター"として、すでに国際会議やジャーナルに採択された研究の発表もありました。若手の未完成な研究を萌芽とするならば、招待ポスターは結実というような立ち位置でしょうか。経験が浅い若手に"お手本"を提示してくれるような素晴らしい研究ばかりでした。

(僭越ながら)私の発表

以下が私の今回の発表ポスターになります。
Task arithmeticを用いたモデル編集技術について、関数空間及び重み空間での解析による知見をまとめています。様々な方からフィードバックをたくさん頂き、この研究をしっかりと形にして国際学会などに成仏させたいというモチベーションも得られました。

#YANS2024 において”A Closer Look at Task Analogies: Insights from Function and Parameter Space”というタイトルで9/5 14:00~のセッションでポスター発表をします！
Task arithmetic を用いたModel editingに関する知見をもとに皆さんと議論できることを楽しみにしています！ pic.twitter.com/P3ZW30RuFE
— Kotaro Yoshida (@katoro13___) August 20, 2024

表彰式

YANSのもう一つの特徴は潤沢な表彰機会にあると思います。
運営からの奨励賞だけでなく、多くのスポンサー様からの表彰があります。景品ももらって嬉しいものばかりです。
”現時点の研究の完成度よりもアイディアの面白さ，及び，新規性や発展性への期待を重視”されており、言ってしまえば、完全にアイディアベースの発表でも発展性が見込まれたり、単純に面白そうと感じるような研究であれば、表彰されます。
これによって潜在的に大きなインパクトを持つ研究を発掘する機会としても非常に機能的であると感じました。

終わりに

結論としては、非常に新鮮で、成長できる、そして何より多くの同年代の研究者と繋がれる良い機会でした。
また来年もぜひ参加したいと思います。

YANS運営の皆様をはじめ、スポンサー様、参加をされた全ての皆様に感謝申し上げます。
ありがとうございました。

この記事について、私の発表について、などご質問あれば以下にご連絡ください。
お待ちしております🙇

X(旧Twitter)
mail: yoshida.k.0253[at]m.isct.ac.jp