LLM(大規模言語モデル)のアップデート競争が連日ニュースを賑わせる一方で、AR、ワールドモデル、音声AI、3D生成、ロボティクスといった分野でも、エンジニアにとって見逃せないブレイクスルーが次々と登場しています。
本記事では、最近登場した注目の最新AI技術やオープンソースプロジェクトを分野別に整理して共有します。
1. AR・動画生成AIの進化
Simulon(現実空間と相互作用するARアプリ)
スマホのカメラ越しに3Dキャラクターを現実空間に配置し、撮影後にクラウド上で再レンダリングすることで、キャラクターが現実の物体や人間のアクションに反応する動画を作れるアプリです。
- 特徴: ラジコンカーが机から落ちる瞬間に飛び降りたり、ペンでつつくと払いのけたりと、プロンプトなしでも周囲の文脈を理解して動きます。
- 現状: リアクション機能は現在iOS先行(Android版も予定)。100クレジットの無料枠があり、有料プランは月額15ドル。将来的にはARグラス上でのリアルタイム動作を目指しています。
Tencentのオープンソース World Model
単発のクリップを生成して終わる従来の動画AIとは異なり、会話を続けるように指示を出しながら世界を生成し続けられるワールドモデルです。
- 仕組み: 5秒単位でテキスト指示やカメラ移動を受け取り、過去の生成結果をモデル自身が記憶することで最大約1分間の一貫性を維持します(ゲームエンジン不使用)。
- 公開状況: 商用利用可能なオープンウェイトとして公開中。圧縮版であればRTX 4090単体でも動作するとされています。
Re-Shoot 4D(撮影済み動画のカメラアングル再構築)
すでに撮影済みの動画を読み込み、別アングルから「再撮影」できるオープンソースツールです。
-
ワークフロー:
- 動画から時系列の3D空間をキャプチャ
- 仮想カメラ(オービット、クレーン、バレットタイム等)を設定
- 新アングルで再描画
- オープンモデル「LTX」で背景のノイズや破綻を補正
- 注目ポイント: 動作にはNVIDIA GPUとComfyUIの知識が必要ですが、1人の開発者がClaude CodeとCodexを駆使して構築した点でも話題です。
MovieEdit(Adobe & 韓国の大学による共同研究)
動画AI編集の課題だった「カットをまたぐと編集内容が元に戻ってしまう問題」を解決する研究モデルです。
- 特徴: テキスト指示やPhotoshopで1フレームだけ編集した内容を、最大25秒のクリップ内の全カットへ一貫して適用できます(※現在は論文とデモ公開のみで、モデルは未公開)。
2. 音声AIとサイレント・インターフェース
わずか数週間の間に、従来の「音声→テキスト→LLM→音声」というパイプラインを脱却した次世代音声モデルが研究・OSS・商用の各フェーズで出揃いました。
| プロジェクト名 | 開発元 | 形態 | 主な特徴 |
|---|---|---|---|
| Desa | Block(研究ラボ) | 限定公開 | 音声データのみでゼロから学習。相槌・割り込みが可能で人間味が極めて高い |
| Haru 4B | Higurashi(日本) | OSS | テキスト変換なしの同時発話対応。MacBookで約0.2秒の低遅延ループ |
| Live 3 | Fish Audio | 商用API | 30言語以上対応。カスタマーサポートや注文受付向け($0.035/分〜) |
- Desa: アシスタント的な振る舞いを学習していないため、自然な雑談や割り込み会話が可能ですが、詐欺電話などへの悪用リスクを考慮し現在はAI安全性研究者のみに限定公開されています。
- Haru 4B: Desaの登場から約3週間で公開された日本のスタートアップ発のベースモデル。1秒間に約7回、入力音声・出力音声・発話内容を同期します。Hugging FaceとGitHubで公開されており、開発者がすぐに検証可能です。
Subvocal(声を出さずにAIと話せるスマートグラス)
Georgia Techの学生(Y Combinator採択)が開発中のデバイスです。
- 仕組み: マイクもカメラも使わず、メガネから微弱な電波(RFセンシング)を顔に照射し、声に出さずに口を動かした際の微細な筋肉の動きをテキスト化します。
- 現状: 2027年Q1出荷予定(デポジット199ドル/本体499ドル)。独立した第三者検証はまだないものの、公共の場でのサイレント入力デバイスとして注目されています。
3. 3D生成とリアルタイム・モーション
Budget 3D(計算量と品質を自在に調整できる3D生成)
1枚の画像から3Dオブジェクトを生成する際、スライダーで「トークン予算(計算量)」を調整できるオープンソースツールです。
- 特徴: 空間の何もない領域をまとめて処理し、ディテール部分に計算リソースを集中させます。
- 動作環境: VRAM 8GB未満のローカル環境でも動作可能。GitHubおよびHugging Face Spacesで公開されています。
Motion Bricks(NVIDIA)
約35万件のモーションクリップを学習し、ゲームの操作入力に合わせてリアルタイムでキャラクターのアニメーションを生成するモデルです。
- 特徴: 従来アニメーターが手作業で繋いでいた「歩く・走る・座る・物を拾う」といったモーション間の遷移を自動化します。
- 応用: NVIDIAの人型ロボット向け基盤システム「GR00T」のモーション層としても採用されています。コードと学習済みモデルはGitHubで公開中です。
4. 高速学習ロボットとDIYロボティクス
Flash ALOHA(スタンフォード大学)
飛んでくるボールを空中でキャッチできるほどの高速反応を実現した双腕ロボットです。
- 学習手法: 従来の遅い遠隔操作ではなく、人間がロボットの腕を直接掴んで実速度でタスクを実演(各タスク約50回)。その後、ソフトウェアで動きのガタつきを平滑化します。
- 成果: 通常のカメラのみを使用し、ボールキャッチ、衣類の折りたたみ、電池交換、テーブルの片付けなどで80%以上の成功率を記録。コードと必要なハードウェア構成はGitHubで公開されています。
PhoneBot(UCLA)
古いAndroidスマートフォン(50〜80ドル程度)を「頭脳」として再利用する小型歩行ロボットです。
- アーキテクチャ: スマホのカメラを「目」、画面回転用センサーを「バランスセンサー」として使い、インターネット経由でGPTなどのAIサービスと連携します。
- コスト: 13個の小型モーター、バッテリー、3Dプリントパーツなど、スマホ以外の部品代は約400ドル程度。シミュレーションでの強化学習により歩行を獲得しており、転倒しても自力で起き上がることができます。
まとめ
今回取り上げた技術の中でも、Haru 4B(音声)、Budget 3D(3D生成)、Motion Bricks(モーション制御)、Re-Shoot 4D(動画再構成)といった多くがオープンソースやオープンウェイトで公開されている点は非常に重要です。
さらにPhoneBotのような低コストなDIYハードウェアと組み合わせることで、かつては大企業や研究機関でしか実現できなかった「自律的に動き、自然に会話するロボット」のプロトタイプを、個人開発者が自宅で作れる時代がすぐそこまで来ています。