先日、韓国のAIスタートアップ企業”UpStage”が自社のLLM"Solar"の最新バージョンがAmazon SageMakerに正式に導入されたことを発表しました。
私もSolarを少し試しましたので、今日はSolar、UpStageと韓国語LLMについて少し紹介したいと思います。
1.UpStageについて
UpStageは、現在韓国で最も有名なAI企業です。
昨年の年末頃、UpStageが開発したLLM「SOLAR 10.7B」が、HuggingFaceのOSSLLM leaderboardで、一時的に英語と韓国語両方Top1になったことがあります。このモデルは、当時主流だったMistralのMoE（Mixture of Experts）とは異なるアプローチで、独自のトレーニング手法「DUS（Depth Up-Scaling）」を用いて学習されています。DUSを簡単に説明すると、既存のモデルのサイズを大きく（レイヤーの拡張）しながら、追加の学習データを与えてトレーニングを行う手法です。
一般的な継続学習とは少し異なり、レイヤーの拡張しながら事前学習を続けるみたいなイメージです。このやり方によると、比較的小規模なモデルでも、大規模なモデルを上回る性能を発揮することができます。しかもトレーニングのプロセスもそれほど複雑ではありません。
当時のベンチマーク⇩では、Solarは自身の4〜7倍の規模を持つMoEのMixtralや中国のQwenを超える性能を出したために、ちょっと話題になりました。（私はその時Solarが韓国企業のLLMだとは知らず、どこかのアメリカ企業のLLMだと思っていました、、）
2.韓国語LLM現状
韓国語のLLMの多くは、基本的にSolarをファインチューニングして作られています。
先週、韓国の情報協会（NIA）が「Ko-LLM」というランキングが発表され、韓国語LLMの性能が評価されました。その結果⇩から見ると、上位にランクインしているのは「XXX-Solar」という名前のLLMがほとんどです。これらは異なる企業が開発したモデルですが、いずれもUpStageのSolarモデルをベースにファインチューニングを行ったものです。
3.Solarを実際試した感想
昨日私もSolarを試してみて、いくつかの特徴に気づきました。
まず、このモデルは英語と韓国語、両方ともかなり高い性能を持っています。
特に韓国語に関しては、ChatGPTとほとんど遜色ない性能を示しています。わずかな違いとして、Solarの韓国語はまるでネイティブの韓国人が話しているかのように自然で、一方ChatGPTの韓国語は韓国語が上手な外国人が話しているような印象を受けます。
また、SolarはDocument Chatに特化されていて、Document内の韓国語の認識と抽出、そして理解力も非常に優れています。
例えば、以下はUpStageが提供しているサンプルデータの認識結果ですが、一切間違いなく認識できています。（英語の認識精度も非常に高く、ほとんど間違いはありませんが、これはChatGPTでもすでに達成されているレベルなので、それほど特別なことではないです）
私も適当に韓国語の画像を探して、Solarに渡して試してみました（試しに使ったのはドラえもんの韓国語版マンガの画像です）。OCR機能を使ってみたのですが、こちらも完璧に認識することができました。同じことをChatGPTで試したらうまくできませんでした。（韓国語の文字は非常に似ているために、誤りなく認識することは実はそれほど簡単なことではありません。例えば、일、말、밑などの文字は見た目では非常に似てます）
ちなみに、Solarの日本語能力はまだかなり低いレベルです。
⇩のような非常に簡単な質問にも正しく答えることができません。（ただ、先週公開されたAmazon Sagemakerのニュースによると、今年中にSolarに日本語能力を追加する話はありました）
興味ある方試してみてください⇩：