初めに

この記事は第1回VTuberハッカソンにおいて、私たちのチームが何を準備して、どう作業して、最終的にどのような成果物を提出したのか、時系列順に紹介していくブログのような内容です。
Qiitaに書いてよい内容ではないかもしれませんが、どうかご容赦ください。

自己紹介

初めましての方は初めまして、いつもお会いしている方はお久しぶりです。karukaruと申します。
普段はTwitterの方で趣味100%な呟きをしています。
最近ニコニコ生放送でバーチャルユーチューバーの真似事みたいなのを始めました。
ご興味があれば是非以下の動画をご覧になってください。

ちなみに就活中です。もしご興味を持っていただけたならば、プロフィール欄にあるメールアドレスまでご連絡ください。

VTuberハッカソンとは

みんなで一緒にバーチャルなキャラクターに命を吹き込んでYouTubeで配信しよう──！
と題して、 VR系ウェブメディア PANORA様 と、 VR開発者のコミュニティ SVVR Japan様 の共同企画で生まれた、新たなVTuberを生み出すことを目的としたハッカソンです。
審査員の方々やスポンサー様がとても豪華で、発表当初からかなり話題になっていました。

2/24、25開催「第1回 VTuberハッカソン」、審査員情報を公開！

会場ではGOROmanさんとにゃるらさん、遠隔のバーチャル審査員としてはシロさん、ミライアカリさん、ねこますさん、輝夜月さんにお願いします。観覧チケットも若干ですが発売！
今すぐチェック https://t.co/ciP1TUIfg2 #VTuberhack pic.twitter.com/kbouEJY1T0
— PANORA (@panoravr) 2018年2月9日

VTuberハッカソンの審査員に四天王が参加しててヤバミを感じる pic.twitter.com/LFQB50SoSq
— karukaru＠VTuberハッカソン→AMGモータース (@_karukaru_) 2018年2月9日

チーム紹介

チーム名：Team TMCITXR
プロジェクトリーダー：karukaru
シナリオライター：KitoNakuNya
アクター・モデル調整：Pepiperia
ハード作成・動画編集：RYOrobot

事前準備

テーマがはっきりとわかっていましたし、チームも組んでいたのでアイデアソンを行いました。
具体的には、

Youtubeに投稿する動画内容
キャラクター案
モーショントラッキング方法

の3点について議論しました。

Youtubeに投稿する動画内容

バーチャルYoutuber なので、バーチャルでしかできないことをする案を積極的に募集しました。
ここでは実現可能性は一切考慮せず、みんながやりたいこと、面白いと思うことを最優先で考えます。

実際に出てきたアイデアを一部紹介すると、細かすぎて伝わらないモノマネ選手権のような舞台を用意して漫才をする、一休さんの屏風のトラを本当に出てくるようにしてしまう、SpaceX社のFalcon Heavy号に乗り込んで宇宙へ行く、バーチャルコスプレYoutuber、ビンタしてくれるVTuber、など色々なアイデアが出てきました。
その中でもメンバーの反応が多かったのが ビンタしてくれるVTuber だったので、基本的にこの案を広げていく方向にしました。

VRとビンタといえば、1年前に幼女ビンタVRというものが話題になりました。
これを参考にしてVTuberに上手く落とし込めば面白そうだったため、早速ハード担当にデバイスの調達を依頼しました。
1週間後には必要なデバイスと制御用パーツを揃えてくれて、テスト動画まで撮ってくれました。
「ぅゎょぅι゛ょっょぃ」と言いながらお腹に貼った低周波治療器の威力を徐々に上げていくという、たったそれだけの動画なのに謎の面白さがあったため、この方向で進めて正しかったと確信を持てました。
低周波治療器の取説に「首から上に付けるな」と書いてあったため、リスクを避けるためにビンタではなくお腹をお触りしてくれるVTuberということにしました。

キャラクター案

キャラクターモデルを借りるのか、自作するのか、借りるなら誰から、自作するならどのようなキャラクターを作るのか、などを議論していました。
私たちのチームはモデラーがいないため、キャラクターをイチから作るのは得策ではないことはわかりきっていました。ですがVTuberはキャラクターが命と言っても過言ではありません。何とかしてキャラクターを作り出す必要がありました。

準備期間は1か月ほどあったためアクターにblenderを勉強するよう頼みましたが、1か月で人型モデルまで作れるようになれるとは思えません。
そんな中 STYLY様 で3Dスキャン会を無料で行ってくれるというツイートを目にし、これを最大限有効活用する方針となりました。

来週22日(木)VTuberハッカソン向けに3Dスキャン無料開放いたしまーす！
ハッカソン本番の抽選漏れた人も撮影に来て、自分の3Dモデル使って自宅からぼっちソンやりましょー
せきぐちあいみさんフリー素材を撮影したスキャナですhttps://t.co/KRuH4xNmCd https://t.co/xY7qQAvyuR
— サイキック山口 (@from2001vr) 2018年2月16日

また 株式会社エーアイ様 から琴葉茜・葵のMMDモデルの提供が、 KiLA様 からるみのMMDモデルの提供が、 バーチャルアーティストの芸能事務所 AVA様 からLUMi(JK ver.)の3Dモデルの提供が、それぞれ発表されたため、STYLY様から頂いたデータが使用できなかった場合、バックアッププランとしてこれら既存のモデルを使用することも考えていました。

せやなー！「琴葉茜・葵」「るみ」のCGモデルなどVTuberハッカソンで利用可能なハード・ソフトを紹介 https://t.co/SBE5KE2hBh #VTuberhack #バーチャルYouTuber pic.twitter.com/1cdX6MSVR8
— PANORA (@panoravr) 2018年2月19日

モーショントラッキング方法

私の手持ちにVR対応ノートPCが無いため、VIVEを用いたモーショントラッキングは TSUKUMO様 から開発用PCをお借りできた場合のみ使用することは決まっていました。
また Noitom様 及び総合代理店の 株式会社アユート様 からPerception Neuronの提供があったため、技術的興味からお借りできたらこれでモーションを撮ることにしました。
上記2つのアイテムのうちどちらともお借りできなかった場合に備えて、ハード担当が持っていたKinectを用いたモーショントラッキングも用意することにしました。
またシナリオライターがノートパソコンを持っていないため、VR対応のデスクトップPCを持ってきてもらうことで最悪の事態を回避するようにしました。

本番当日

1日目

開会式が終わり開発がスタートされてからは、まず事前準備で終わらなかった部分を完成させるようにメンバーに指示しました。
シナリオライターにはシナリオの完成を、アクターにはSTYLY様から頂いたモデルの調整を、ハード担当には低周波治療器の制御システムの完成を、私にはUnity内に舞台を用意することを課しました。

この作業をしている途中で、チームを組んでいなかった方々のアイディアソンが終了したらしく、機材の貸し出し受付が始まりました。お借りしたものは以下の通りです。

お借りしたもの

Noitom様 及び総合代理店の 株式会社アユート様 から Perception Neuron
TSUKUMO様 から 開発用PC

最終的にはもっと増えるのですが、1日目朝の段階ではこれだけをお借りしました。

Neuronをお借りできたため、シナリオライターとアクターをモーション班として再編して、モーションを撮ってもらうことにしました。小耳にはさんだ話では、Neuronのモーションを扱えるようになるには半日かかると聞いていたため、早めにNeuronに慣れてもらうことにしました。ハード担当と私はUnity班として、シリアル通信のテストや仮で撮ったモーションを用いた動作確認などを進めていました。

作業途中もNeuronでテストモーションを撮ってみたり、AITalkWebAPIをお試しで使ってみたり、私が作った『ゆかりさんとXX』を体験してもらうなど、ガチガチな雰囲気で発言しづらい空気にならないようにいろいろと遊びながら作業しました。

Neuronをお借りしてモーションを撮ってみました。
かなりの高精度で驚いています！#TeamTMCITXR #VtuberHack pic.twitter.com/ViLqThYB3b
— karukaru＠VTuberハッカソン→AMGモータース (@_karukaru_) 2018年2月24日

日付が変わるころにはモーション班が本番用のモーションを撮っていたのですが、Unity班の方でシナリオの変更を提案したところ受け入れてもらえたため、それの修正作業を行ってもらうことにしました。この変更でメインキャラクターが琴葉茜に変わったため、エーアイ様に『VOICEROID2 琴葉茜・葵』を使用してよいかメールしました。

深夜3時ごろになるとさすがにメンバーに疲れが見え始めたため、仮眠をとることにしました。というか私が24時間起きれない人なので、私が寝たかったｗ。

2日目

朝7時に起きて作業再開です。モーション班は本番用モーションの撮影を、Unity班は細かいバグフィックスと動画制作の準備を進めていました。またエーアイ様からVOICEROID2の使用OKの返信も頂きまして、動画制作を本格化することにしました。
お昼ごろにはモーション班とUnity班の成果物を合体させることができたので、そこから更なるクオリティアップを目指して数回モーションの撮り直しを行いました。同時進行で発表用スライドの作成も行っていましたが、意外と動画制作に時間が割けないことがわかってきたため、スライドの優先順位は下がってしまいました。

なんとか完成したのが締め切り10分前で、もうメチャクチャに焦っていたのを覚えています。

世界初のMR YouTuber 茜ちゃん!!! https://t.co/xsAbWB4bFW @YouTubeさんから
ギリギリにアップロードしました！ #TeamTMCITXR #VTuberhack
— karukaru＠VTuberハッカソン→AMGモータース (@_karukaru_) 2018年2月25日

そこから各チームの発表に移るのですが、発表役の私が発表練習を1回もできていない状態で、他のチームの発表を見逃すわけにもいかないので、ぶっつけ本番で発表することになってしまいました。
第1回 VTuberハッカソン最終成果物発表
後で発表を見返すと、緊張して声が震えてるのがわかりますし、練習してないなというのが見て取れると思います。直後の懇親会でも発表の不甲斐なさから落ち込んでいて、他のチームの方々にお声がけすることができませんでした。
審査員の方々へのアピールタイムやその後の体験会の時間で、多くの方にお声がけいただき少しずつ自信を取り戻していきました。今思い返すと、落ち込んでいたのはすごい無駄な時間を過ごしてしまった感があります。

結果発表

懇親会の後に結果発表が行われ、私たちTeam TMCITXRはAI Talk賞を頂きました。

#TeamTMCITXR は #VTuberhack にてAI Talk賞を頂きました！エーアイ様、ありがとうございます！ pic.twitter.com/3EX4BHZXX5
— karukaru＠VTuberハッカソン→AMGモータース (@_karukaru_) 2018年2月25日

「マジ魔笛」と話す女子高生バッハなど、多数の新人が生まれた「第1回 VTuberハッカソン」詳細レポ https://t.co/jNH5TPMplN #VTuberhack pic.twitter.com/CkZt76mFbP
— PANORA (@panoravr) 2018年3月1日

VTuberハッカソンなのにMRYoutuberというコンテンツを生み出してしまったため、あまり受け入れられないかなと思っていたのですが、懐の大きなエーアイ様から賞を頂くことができました。ありがとうございました。

感想や裏話など

感想

私はハッカソン2回目、他のメンバーはほぼハッカソン初参加、というハッカソン初心者チームなことに加え、私以外はVRを体験すらしたことがないVR初心者チームという状態で、何とか爪痕を残せたことは嬉しかったです。
成果発表を見ているとコミックマーケットに参加している時以上の創作意欲が湧いてきますし、「そういうアイデアもあったか」「そういう手法ができたか」「これができるならこういう事もできそう」など、次々と新たに挑戦したいことが増えていくのがとても良かったです。
そして何よりも悔しかったです。私たちのチームは大体の事はできる技術力を持っているだけに、アイデアやプレゼン、動画の魅力などで負けているのがはっきりとわかりました。こういった反省点を次回のハッカソンに生かせるように、力を蓄えていきたいですね。

チーム名について

チーム名ですが、本当は TMCIT と XR で分かれています。
XRはAR,VR,MRを含めた言葉であることは皆さんご存知だと思うのでTMCITについて解説すると、東京都立産業技術高等専門学校の英訳『Tokyo Metropolitan College of Industrial Technology』の略です。
私たちは全員TMCITのOBだったため適当に学校名を借りました。

会場について

アカツキさんのオフィスはとても綺麗で過ごしやすかったです。あんな綺麗なオフィスで働けたら良いですね。
どうでもいいけどアカツキさんとSVVRさんのステッカーを貰い忘れたのが残念。UnityChanチョコも全ての柄を揃えたかった。

最後に

参加者の皆さん、運営様、企業様、お疲れ様でした。そしてありがとうございました。
特にベースステーションの干渉問題についてHTC様に、Neuronのサポートについてアユート様に、琴葉茜・葵についてエーアイ様にお世話になりました。本当にありがとうございました。
とても良いハッカソンだったので、第2回VTuberハッカソンが行われたら是非参加したいと思います。