Oracleさん主催のDeveloper Days 2024
5月24日開催 Special Dayに行ってみたので、レポートです。
※公式サイト
https://www.oracle.com/jp/events/developer-days/#may24
会場の様子
一番乗りでした！
受付で首から下げる入場証を受け取り、内部へ進むと、
通路で飲み物（500ミリペットボトル）を配ってました。
お茶orお水or炭酸水から選べて、
飲み物を受け取ると謎のシール（イベント終了後に判明します）を入場証に貼られました。
セッション会場は、天井が高く結構式会場みたいでした。
席は自由で、1番前だと映画館みたいに首が疲れそうだったので、中間に座りました。
会場の撮影OKだったので、参加者が X（旧Twitter）に挙げるときに映り込まない位置を確保しましたw
タイムスケジュール
それぞれ1時間ずつ。ちょうど良かったように感じました。
各セッション開始時に流れるカウントダウン動画？がかっこよく、
会場、X（旧Twitter）共に好評でした。
動画撮影禁止だったので、お見せできないのが残念。。。
オープニング
竹爪 慎治さん | 専務執行役員 クラウド事業統括
オープニングのご担当者が公表されてなかったので、会場からは驚きの声が！
最後のセッションで登壇される、ひげおやじ氏の呼び方に困っていらっしゃいましたw
⽇本発の⾔語が世界に届くまで
登壇者
まつもと ゆきひろ 氏 | Ruby アソシエーション 理事⻑
感想
Ruby作った人！
リアルで初めて言語そのものを作った方を見ました。同じ世界線に存在するんですねw
とにかくお話が上手（失礼）で、純粋に面白かったです。
1時間があっという間で、聴く側の知識レベル問わずに面白かったのではないでしょうか。
登壇内容
自己紹介
Rubyを作った人。
日本で1番有名なプログラマー。
活動名
世界で活動の際は、「Matz」というニックネーム。
日本ではお母様しか名前で呼ばないので、ゾワゾワするから。
日本での活動名は、他と被らないようにひらがなにしたものの、
ギタリストさん？とまさかの全被り。
その方のX（旧Twitter）でアカウントの説明欄には、「Rubyの人じゃないです」と記載がある。
唯一の生ける松江市名誉市民
歴代の名誉市民はお亡くなりになっているので、
唯一の生きている松江市の名誉市民
Rubyって何ができるの？
そもそもプログラミング言語とは、自然言語とPC言語をつなぐ言語。
説明が難しいが、（やれば）なんでもできる。
GitHub、Twitter（初期）など様々な身近なサービスが、Rubyで作られている。
Rubyを作った経緯
プログラミングを始めたのは、中学3年生。
当時BASIC、ポケコンBASICで開発を行っていたものの、
制限された環境（プログラムの行数制限、変数名が1文字）にストレスが溜まっていた。
書店でPascalという言語の本を見つけ、
BASICでのストレスが全て解消できていることを知る。
言語は1つじゃないことを知ったと同時に、
自分で作れば良いじゃないかと思いつく。
仕事の合間にRuby制作
大学卒業後、会社に就職。
お仕事のメインが自身の作成したツールに対する質問の電話対応。
暇だったので、合間にルビーの制作作業を行う。
なぜRubyは成功したか？
運と縁。
一般人にインターネットが普及し出した年にリリース。
OSSで開かれた開発を行なったことで、自分1人では出来ないスピードで改善ができた。
休憩
駄菓子セットとアイスコーヒーが用意されており、
欲しい人は取りに行く感じでした。嬉しい！
サイバーエージェントの⽣成 AI への取り組み - 独⾃の⽇本語 LLM（⼤規模⾔語モデル）公開、⽣成 AI 徹底理解リスキリング -
登壇者
⼩枝 創 ⽒ | 株式会社サイバーエージェント リスキリングセンター⻑
⽯上 亮介 ⽒ | 株式会社サイバーエージェント AI 事業本部 AI クリエイティブ Div 機械学習エンジニア
友松 祐太 ⽒ | 株式会社 AI Shift データサイエンティスト/マネージャー
感想
サイバーエージェントさんがリリースた日本語LLMの開発方法、
社内で実施した、生成AIのリスキリング施策について、わかりやすく説明してくださいました。
社内の育成施策の際に参考にさせていただきます！
登壇内容（LLM開発）
サイバーエージェントさんのLLM開発に関するリリース
対話型AIの作り方
ChatGPTのような対話型AIは、
大規模なデータによる事前学習とInstruction Tuning & Alignment Tuningによって作られる
・事前学習
事前学習をおこなっただけの素のLLMは指示を出しても上手く従わないことが多い。
・lInstruetion Tuning
様々なタスクを指示形式で学習させることでフォーマットに従った適切な応答を返し、未知のタスクにも汎化する。
・Alignment Tuning
RLHFにより人間の価値観に合わせた出力をさせることができる。
Helpful, Honest and Harmlessのような基準。
サイバーエージェントさんが開発した日本語LLM CyberAgentLM （CALM）
・事前学習
トークン数の大幅増加で性能向上する。
・lInstruetion Tuning
日本語指示データセットで日本語指示応答能力が向上する。
・LLM開発の難しさ
勾配爆発で学習失敗。
対応方法も確立されつつあるものの、まだ原因不明の事象もある。
広告領域向けのマルチモーダルモデル開発への取り組み
公開データセットには日本的データが少ないため、
日本語／文化の理解/認識から生成/効果予測まで一貫した開発が必要だった。
登壇内容（リスキリング）
リスキリングセンターについて
全社の人材戦略に沿った育成、
グループ横断の育成組織、
全体最適で動ける柔軟な運営を行う。
ミニマムな組織体制と連携先組織。
2023年度は、AWSやGo言語等の複数のカリキュラムが存在したが、
2024年度から生成AIのみのカリキュラムに転換。
生成AI徹底理解リスキリング
高度LLM人材を育成し業界を牽引できる状態にする。
for Everyone
・ターゲット
全役員・社員（約6300名）
・ゴール
生成AIの知識をもとに活用先のアイディアを創出できること
・カリキュラム
動画コンテンツ（社内の有識者による完全内製）の配信
→施策を全社員に展開する背景や意義を伝えるティザー動画
→講義動画は、一部早期展開してフィードバックにより全員に伝わるような補足テロップを都度追加編集
ミニテスト、まとめテストの展開
→全員が合格できる難易度ではなく、
理想状態を達成するための必要な知識が取得できる難易度。
・受講推進施策
社員へのメール通知や、ランキング作成、役員による熱意上げ動画の作成。
実施の結果、社員の99.6%が受講完了
for Developers
・ターゲット
エンジニアから公募
・ゴール
LLMを用いた機能開発におけるインデックスが貼られている状態
→この要件なら、この部分の技術検証が必要で、このモデルから試してみよう。
→この要件なら、LlamalndexとLangChainのAgentを組み合わせて実装しよう。
→この要件なら、必要タスクはこれで、これぐらいのスケジュールが要当だろう。
・カリキュラム
Udemyとハッカソン（賞金1000万）
・危惧すべき離脱ケース
実力との乖離
→課題と達成度にグラデーション
e-Learning未完
→最終締め切りの前に目標期限設定
繁忙期のバッティング
→繁忙期を避ける
・ハッカソン運営知見
オフラインの方がコミュニケーションが生まれる。
遠すぎず近すぎない「距離感」でグループ化。
設計、開発、資料作成のタイムマネジメントは運営が実施。
イベント日は予定が合わなくて参加出来ない
→3日程提示して選択制
for ML/DS
LLMのモデル構築やチューニングができる
リスキリング事業への転用
サイバーエージェント社員が受けた「生成AI徹底理解リスキリング」のノウハウを活用し、”生成AIリスキリング支援”の外部提供を開始。
今後の課題と展開
・教材の継続的なアップデート
・教材の制作コストと鮮度
・リスキリング成果の評価
休憩
コーヒーのおかわりが出来ました。
SB Intuitions で進める⼤規模基盤モデル開発
登壇者
井尻 善久 ⽒ | SB Intuitions 株式会社 CRO
⾼瀬 翔 ⽒ | SB Intuitions 株式会社 Senior Research Scientist
⾼橋 翼 ⽒ | SB Intuitions 株式会社 Senior Research Scientist
感想
技術で会社を引っ張ってます！みたいな登壇者の方で、とてもかっこいいなと思いました。私もそうなりたい！
やっぱりこういった技術の講義は楽しいので、もっと詳細に知りたいと思いました。
登壇内容
生成AIについて
・生成AIの動作原理
・スケーリング法則
Scaling Laws 【Kaplant, arxiv 2020］によれば、データセットやパラメータを大きくすればどんどん精度が良くなる！
大きなモデルを学習しきるには大量データが必要。
・マルチモーダル化
・生成AIのリスクに対する技術的措置
ガードレールにより、有害な出力を制御する。
SB Intuitions における大規模言語モデルの事前学習
事前学習における取り組み
・学習データの構築
→ウェブコーパス（Common Crawl）から構築
→クリーニングでノイズを除去
・事前学習の失敗をできる限り回避ために、既存の論文で報告されている安定化手法を盛り込む
→その手法が妥当かどうかの精査は必要
→主張がおかしいと思うものは楽却
・やるべきことをやる
→性能が倍増するような魔法は存在しない
まとめ
・大規模言語モデル構築における選択肢の増加
→オープンなモデル（e.g.，LLaMA）の追加学習により研究開発が促進
→フルスクラッチ構築/特定のビッグテック（OpenAI）のAPIに依存以外の選択肢
・フルスクラッチの事前学習について発表
→コーパスクリーニングの重要性
→学習の安定性
大規模な事前学習は明らかになっていないことも多い
・日本語の大規模言語モデルをどのように評価するか？
→日本語の評価データセットが不足している
→生成を目的としたモデルは様々な観点での評価が必要
・個人的にはモデルも（評価/事前学習/チューニング）データもオープンににしたい
安心安全な生成AIの提供を目指して
・有害性とバイヤス
・jailbreak（魔法の呪文で侵害）
・Memorization（テストデータの流出）
生成AIの車検
安心安全の基準と基盤の確立を2024年内の社内運用が目標
プライバシーテック
医療や金融を含むあらゆる産業で生成AIを活用できるよう
データセキュリティ・プライバシーを整備
休憩
コーヒーのおかわりと、
ドーナッツがもらえました。このドーナッツが美味しかった！
また食べたいw
エンジニアとしての未来へのヒント - 挑戦と変⾰の舞台裏 –
登壇者
⻄村 博之 ⽒ （オンライン登壇）| ひげおやじ ⽒ (会場登壇)
佐藤 裕之 (ファシリテーター)
感想
本イベントに参加するきっかけでしたのでとても楽しみでした。
リアルひろゆきだー！すごー！！嬉しいー！って感じですw
ユーチューバーと人狼ゲームをしている動画で知った芸能人をリアルで見られてとても満足でした。
音声が届かないという会場側の不備があったのにも関わらず、
ひろゆきさんは即時に電話切り替え、ひげおやじさんがトークで場を繋ぎ。。。芸能人って凄いなーと思いました。
登壇内容
海外に行った方がいい？
海外の方が稼げるのは、ユーザ数が違うから。
日本内でも完結できて生活できるので、別に強制ではない。
日本に居ながらリモートワークもできる。
アメリカは広いので、対面で仕事している方が少ない。
生成AIに仕事を取られてしまうか？
エンジニアリングは、プログラミングだけじゃない。
生成AI登場前から、ノーコード開発がある。
その方法が生成AIに変わっただけで、人間が不要になることはない。
企画側の知識も必要にはなる。
クロージング
クラウド事業戦略統括 クラウドソリューション事業本部長 理事の古手川忠久さん
ネットワーキングまたは帰宅
帰りにお土産をいただきました。
入場書に貼ったシールの色によりお土産の種類が異なり、私はバッチと付箋でした。