概要
魔法を使ってみたい。
人間だれしも一度は思ったことがあると思います。
今回は、その魔法を現実で使えるアプリを作ったので、その紹介と仕組みの解説をします。
技術的には主に、XRデバイスであるQuest3のAR機能と、OpenAIが提供しているGPT3.5-turboのAPIを利用しています。
具体的には以下のような感じです。
特徴
このアプリの特徴は、魔法の詠唱によって魔法の内容や規模を自在に変えることができること！
映像を見ていると、魔法の詠唱をしただけで魔法が忽然と現れています。
これは魔法の詠唱から、LLMに魔法の種類や規模、数、持続時間などを推測させて、その値を使用して魔法を変化させています。
それをQuest3のAR機能を使用することで、あたかも、現実で魔法を使っているかのような体験を生み出すことができます。
仕組み
このシステムの仕組みは上記のようなシステムによって構成されています。
具体的には以下のような手順になります。
- Userが魔法の詠唱の音声をQuest3のマイクに入力する
- 入力された音声が録音されて、WhisperのAPIに飛ばされる
- Whisperが音声認識をして、その結果を文字としてUnityに渡す
- Unityは音声認識した文字を処理したうえで、ChatGPTに渡す
- ChatGPTは詠唱を魔法のパラメータ（数、規模、種類など）に変換してUnityに返す
- Unityはその魔法のパラメータを使用して魔法を出現させる
- 出現した魔法をQuest3でAR表示する
- 人間の目には、あたかも自分が現実で魔法を使っているかのように映る。
こんな感じで、魔法を使えることができます。
続いて、実際に色んな魔法を使ってみましょう。
魔法１ 炎の魔法
詠唱
炎よ、手のひらの上で燃え続けろ
実際の映像
魔法２ 雷の魔法
詠唱
雷よ、一条の光となって飛べ
実際の映像
魔法３ 風の魔法
詠唱
小さな風よ、手のひらの上で吹け
実際の映像
魔法４ 風の魔法をたくさん
詠唱
風よ、嵐となって手の上で吹け
実際の映像
おわりに
どうですか？
実際に現実にはまだ影響を及ぼすことはできないですが、魔法って感じがしませんか？
Quest3のAR機能を使用すると、こんな風に本当に現実世界で魔法を使えるような体験を簡単に作ることができます。
今後このようなAR技術はさらに広まって、SF映画のような世界になる日もそう遠くないと思われます。
非常に楽しみですね。
次は、時間があればこの魔法を二人で打ち合ったりして対戦するゲームを作りたいと思っています。