はじめに
2024/9/27(土)に Cloudflare Meet-up Oita Vol.2 を開催しました
様々な AI サービスを Cloudflare AI Gateway から呼び出すハンズオンを Elixir + Livebook で行うなど、なかなか攻めた内容でしたが、全員実行できて盛り上がりました
亀田さん登壇
Cloudflare のエバンジェリスト、亀田さんから Cloudflare 、 AI Gateway の紹介をしていただきました
Workers AI は Hugging Face で公開されている各種生成 AI モデルを呼び出せるサービスです
Cloudflare の提供する WEB GPU で高速に推論できます
ELYZA などの日本語対応モデルも使えるようになると、日本でもユーザーが増えそうです
AI Gateway ハンズオン
以下の記事を見ながら、 Elixir Livebook で AI Gateway を呼び出しました
私が「とりあえず何でも Livebook で動かしてみる人」なので、 Livebook で AI Gateway を動かす記事を書いたところ、そのまま「じゃあ、ハンズオンは Livebook でやってみよう」という流れになり、、、
そもそも Elixir 自体が初体験、という参加者ばかりでしたが、 Livebook は誰でも簡単に使えるツールなので、すぐにインストール、実行できました
反省点
-
macOS で実行する手順だったので、 Windows では
curl実行用の環境変数設定ができなかった（結局スキップした） -
Livebook の終了手順を記載していなかった（ブラウザで閉じても裏では動き続けている）
メニューから「Quit」もしくは command + Q で終了
松岡さん LT
Cloudflare DNS にドメイン移管した話です
実際に移管する操作を見せてくれました
かなり簡単な手順であっという間にできてしまうので、実際に自分でもやってみたいですね
松下さん LT
AI 学習に使う GPU のお話でした
推論はまだしもトレーニングをしようとすると、 GPU のコストが莫大なものになってしまいます
Mac の GPU を活用すれば、比較的お得にトレーニング可能です
色々な GPU が使えると、選択肢が増えてよいですね
（↓記事は Elixir の機械学習モジュール Nx から Mac の GPU を使う例）
まとめ
OpenAI が前払いのクレジット制で API 課金していたり、時々サービスがエラーになっていたりするので、 AI Gateway でフォールバック、レート制限ができるのは良いな、と感じました
Workers AI も、きっとどんどんモデルが増えていくと思うので、今後に期待です
個人的には Livebook でハンズオンできたのが良かったです
「普段の業務では触れられない人・物・技術に触れられる」のがコミュニティの良さだと思うので、今後も色々なコミュニティに参加し、越境していきたいと思います