1. 音声モデル(Audio/Speech Models)
音声の認識(文字起こし)や生成(読み上げ)などを担うモデルです。
- Whisper: OpenAIが開発した、非常に精度の高いオープンソースの音声認識モデルです。多言語に対応しており、ノイズの多い環境でも正確に音声をテキスト化できます。
- Voicebox: Metaが発表した音声生成AIです。テキスト読み上げだけでなく、音声の編集、ノイズ除去、別の言語での声色の再現など、多様なタスクをこなすことができます。
- wav2vec 2.0: Meta(旧Facebook AI)が開発した音声認識フレームワークです。自己教師あり学習を用いており、少量のラベル付きデータでも高精度な音声認識を実現できるのが特徴です。
- WaveNet: Google(DeepMind)が開発した、音声の波形を直接生成する深層生成モデルです。非常に自然で人間らしい合成音声を作ることができ、Googleアシスタントなどにも技術が応用されています。
2. 画像認識モデル(Image Recognition Models)
画像に何が写っているかを分類したり、特徴を抽出したりする視覚タスクの基礎となるモデルです。
- ResNet: 画像認識において「スキップ結合」という仕組みを導入し、何十〜何百層にも及ぶ非常に深いニューラルネットワークの学習を可能にした画期的なCNN(畳み込みニューラルネットワーク)です。
- Vision Transformer (ViT): 自然言語処理で成功した「Transformer」というアーキテクチャを、画像をパッチ(小さなブロック)に分割して適用したモデルです。大規模データでCNNを凌駕する性能を示しました。
- Swin Transformer: Vision Transformerを改良し、局所的なウィンドウ内で計算を行うことで、画像認識や物体検出など様々なタスクを効率よく処理できるようにしたモデルです。
- EfficientNet: ネットワークの深さ、幅、画像の解像度をバランス良く拡大していくことで、計算コストを抑えながら高い精度を実現したCNNモデルです。
- ConvNeXt: Transformerモデルの設計思想を取り入れ、従来のCNN(ResNetなど)を現代風に再構築したモデルです。「CNNでもTransformerに匹敵する性能を出せる」ことを証明しました。
3. 画像生成モデル(Image Generation Models)
テキストの指示(プロンプト)をもとに、新しい画像を生成するモデルです。
- FLUX: Black Forest Labsによって開発された、オープンウェイトの画像生成モデル(FLUX.1)です。高いプロンプトの理解力と、指や文字などの細かい描画精度の高さで注目されています。
- DALL·E: OpenAIが開発した画像生成モデルです。テキストの指示を正確に反映し、クリエイティブで高品質な画像を生成します。ChatGPTにも統合されています(現在はDALL·E 3)。
- Midjourney: Midjourney社が開発したモデルで、芸術的で非常に美しく、写真のようなリアルな画像を生成するのが得意です。主にDiscordを通じて利用されます。
- Stable Diffusion: Stability AIが公開したオープンソースの画像生成モデルです。ローカル環境でも動作させることができ、世界中の開発者によって様々な拡張機能やカスタマイズモデルが作られています。
- Imagen: Googleが開発した画像生成モデルです。言語に対する深い理解力と、極めて写実的で高画質な画像を生成する能力に優れています。
4. 言語モデル(Language Models)
膨大なテキストデータを学習し、文章の生成、要約、翻訳、質問応答などを行うAIの頭脳となるモデルです。
- Llama: Metaが開発した大規模言語モデル(LLM)のシリーズです。オープンモデルとして公開されており、世界中の研究者や企業が独自のAIを開発するための基盤として広く利用されています。
- Gemini: Googleが開発したマルチモーダルな生成AIモデルです(私自身を動かしているモデルでもあります)。テキストだけでなく、画像、音声、動画、コードなどを統合的に理解し処理することができます。
- GPT: OpenAIが開発した言語モデル(Generative Pre-trained Transformer)です。ChatGPTの裏側で動いており、極めて高い自然言語処理能力と論理的思考力を持っています。
- Grok: イーロン・マスク氏が設立したxAIによって開発されたモデルです。X(旧Twitter)のリアルタイムデータにアクセスできるのが特徴で、ユーモアや少し反抗的なトーンも持っています。
- Claude: Anthropic社が開発したモデルです。高い論理的推論能力や長文の処理能力に加え、安全性や倫理的な振る舞い(Constitutional AI)を重視して設計されているのが特徴です。
5. 物体検出モデル(Object Detection Models)
画像の中から「特定の物体がどこにあるか(位置)」と「それが何であるか(分類)」を同時に特定するモデルです。
- RetinaNet: 「Focal Loss」という新しい損失関数を導入することで、背景と物体の割合が極端に違う(クラス不均衡)場合でも、高精度に物体を検出できるようにしたモデルです。
- RT-DETR: Baiduが開発した、Transformerベースのリアルタイム物体検出モデルです。後処理(NMS)を不要にすることで、高い精度と処理速度の高速化を両立しています。
- YOLO (You Only Look Once): 画像全体を一度だけネットワークに通すことで、非常に高速(リアルタイム)に物体検出を行うモデルのシリーズです。自動運転や監視カメラなど、速度が求められる分野で定番です。
- Faster R-CNN: 物体の候補領域を提案するネットワーク(RPN)を組み込むことで、処理を効率化しつつ非常に高い検出精度を実現した、2段階(Two-stage)物体検出の代表的なモデルです。