はじめに
最近は生成AI関連のアップデートが目まぐるしい中で、気になるアップデートがあったのでその2つを組み合わせてみました。
一つ目はIBM Granite 3.0リリースしたということです。IBM社のブログを見ると何かすごいらしい。また、これらのモデルはオープンソースモデルとして公開されているため、Hugging Faceからダウンロードできます。
2つ目はAmazon Bedrock カスタムモデルインポートが一般提供開始されたことです。これで独自に開発したモデルをBedrockに取り込むことができ、単一の統合APIを介して様々なモデルにアクセスすることができます。（モデル毎に利用するAPIや環境など意識しなくできるのはいいなと思いました。）またブログにはIBM Graniteにも対応していることが記載されていました。しかしマニュアル（12/20時点）をみると、対応しているアーキテクチャにはGraniteの記述はありませんでした。
やってみた
物は試しにやってみよと思います。
Hugging Faceから必要なモデルをダウンロードする
今回は一般的な使用をも目的とした「Granite-3.0-2B-Base」を利用したいと思います。gguf形式でも提供されていますが、カスタムモデルインポートではSafetensors 形式である必要があるので、直接ファイルをダウンロードしました。
S3にアップロード
us-east-1リージョンにS3を作成して、その中に先ほどのモデルをアップロードしました。バケット直下にモデルを入れると、カスタムモデルインポート時にうまく読み込めなかったので階層を作っています。
カスタムモデルインポートをする
インポート名は適当で、先ほどのS3のURIを設定してインポートジョブを作成しました。
すこし待っているとエラーメッセージが・・・・
まだGraniteには対応していないメッセージがでました。残念。
もしかすると現状では、AWSのブログにもあるように言語モデルではなく、コードモデル（Granite 3B-Code、8B-Code、20B-Code、34B-Code など）の方は利用できるかもしれません。
ただ、こちらも試していると別のエラーになったので、要調査です。（お正月にゆっくりみてみようかなと）
Amazon Bedrock cannot import the model. Make sure the model files are in Huggingface weights format and that you can load them with the Huggingface method.
所感
まだGranite3.0シリーズの言語モデルには対応していないようでしたので、アップデートを待ちたいと思います。現状はモデルカタログの方にはGranite3.0シリーズがいるので、利用したい場合はこちらからになるかと思います。
