Llama-3-ELYZA-JP-8B すごいんですけども
こんにちは、
昨日発表された、オープンソースLLM Llama-3-ELYZA-JP-8B を早速つかってみました＆デモ公開しました
70Bモデルのほうは「GPT-4」を上回る性能とのことで、8Bモデルも相当期待！ということで、つかってみたら、本当に賢かったです！すごい。
デモ公開しました
自分でさわってみたい、という方向けに、 Llama-3-ELYZA-JP-8B とチャットできるデモを当社Playgroundに公開しました
せっかくなので、 GPT-3.5 と比較できるようにしました。
左側に Llama-3-ELYZA-JP-8B、右側が GPT-3.5 になっています。(PC専用です）
動画にしました
急いでる方向けに、３分動画にしました（後半は当社Promotion込みです^^;）
使い方
Llama-3 ベースということで、 vLLM との相性もバッチリでしたので、以下のように、OpenAI の APIサーバーとして使ってみました。
↓たったこれだけです。簡単ですね。
python -m vllm.entrypoints.openai.api_server \
--model elyza/Llama-3-ELYZA-JP-8B-AWQ \
--port 8000 \
--host localhost \
--quantization awq
WebUI は ChatStream を使いました。
WebUIは ChatStream というプロダクトを使用しています。
ChatStreamは私の所属するベンチャー企業で開発している LLM実行エンジン＋チャットUIです。簡単に本格的な商用LLMサービスを作ることができます。
（こちらは有償SDKになるのですが、無償のWebUIとして、同じ会社の人がつくった ChatUX というライブラリでもお手軽にChatUIを作ることができます。）
次は 70B に挑戦したい！
私はどちらかというとハードウェアより（GPUクラスター構築とか、GPUの冷却システム組んだりとか）の仕事をしていますが、GPUクラスタ組んで、70Bのほうも試してみようと思います！
本当に GPT-4 超えなのか、楽しみです！