「ヤジが飛んでくるマインクラフト」DeepLearningで適当テキスト生成 ~全体の流れ~

DeepLearningの力を借りて、マイクラのプレイ中、ゲームに関係のある文章を読み上げてくれるソフトを作った話。

↓こんなやつ

実際に遊んでいる動画

1つの記事にまとめるのが困難なため、いくつかの記事に分けます。
具体的な内容について書いた記事は待ってください。

この記事では、全体の流れを説明します。

動機

1人でマインクラフトをしていたある日......
「自然言語処理 × DeepLearning で面白いものはないか」
「1人でゲームするのも飽きてきたな」
「そうだ、ゲーム中AIが話せば、ボッチマイクラも寂しくないぞ！！」

やったこと

マイクラなら、ゲーム内の情報が取れる。
ゲーム内にいるモンスター等に関連した文章を持ってくれば良さそう。

データを集める

1. とりあえず、スクレイピング　←　微妙な結果に
2. ニコニココメントデータセット　←　量十分、目的にも合ってる

DeepLearningする

1. 脳死でBERTをぶん回す(素晴らしいライブラリ)。
2. いい感じに、文章のベクトル表現が得られる。
3. ゲーム内オブジェクトの名前のベクトルと、集めたテキストデータのベクトルでcos類似度を計算。
4. ゲーム内オブジェクトに関連してそうな文を取り出す。
5. おまけにテキスト生成も試す。

マイクラmodで動かす

1. マイクラmodで近くにいるオブジェクトの名前を取得。
2. 取得した名前を、テキストを検索・生成するクラスに渡す。
3. 生成にはdeep learning を使いたい。socket 通信で python に情報を渡す。(mcpiを改造)

分かったこと

文脈なんてなくても割と面白い。
頓珍漢な文章も、ツッコミしたくなるので面白い。
面白いかどうかに、文章や文脈の正しさは、必須ではない。

さいごに

ヤジが飛んでくるマインクラフトでは、極力人力でデータをいじらないようにしました。
これは、対応してほしいオブジェクトを後から増やしやすいようにするためです。
もっというと、ネット上のテキストが豊富で、modが作成できるゲームであれば、マイクラでなくても出来ます。

ヤジが飛んでくるマインクラフトが、自然言語処理の気軽な応用例の1つになれば良いなと思います。

みんなも、自然言語処理で面白いソフト作ろうぜ！！