やったこと
embeddinggemma-2を使って音声と近い色を出力させてみた
きっかけ
埋め込みモデル
昨今LLMはよく聞くが、埋め込みモデルってそこまで聞かないなと(個人の感覚)
埋め込みモデルについてはマルチモーダルなembeddinggemma-2が登場したとのことで、なんとかして使ってみたわけです。
受けた影響
某ギャンブル漫画で、コインの弾いた音で偽か真を見極める際に音が色に見える人が活躍していました。あと匂いが色に見える人もいました。
共感覚とも言うんですかね？
それってこの埋め込みモデルで見えるのでは...と
あと関係ないですが、Piを入れたのでそれも使ってみたく、サンプルアプリとして作りたかった
処理の流れ
- appコンテナがPillowを使って単色画像3600色を生成
- ベクトルDBに登録
- ユーザがテキスト入力 or 音声を登録
- 16 kHz・モノラルに変換するし、埋め込み(形式合わせ)
- 音声から周波数などを抽出
- 色の検索を行う
- 抽出した要素を使いリランク
処理について
最初、愚直に埋め込みしたもののコサイン類似度を測って検索させたら全部黒が出てきた。
4, 5, 7の処理はLLMに聞けたため、助かった。
音が高いと明るい色、音が低いと暗い感じが出せると思っている。
画面例
例えばこちらのフリー音源を使った結果
コインの音で黄色系 -> コイン色？
https://opentracks.com/se/detail/1172
ピアノの和音は青
https://opentracks.com/se/detail/1508
エラー音は赤に近い
https://opentracks.com/se/detail/1478
リポジトリ
終わり
やっぱやりたいことがあった時のLLMって便利ですね。
中身の処理を把握するのは間に合ってないけど
マルチモーダルな埋め込みって色々使えそうな感じがしているのでアイデアが出てほしい...