創作＋機械学習LT会議事録

先日11/3日に、「創作＋機械学習LT会」というイベントを主催し、盛況に終わりました。創作と機械学習をテーマにLTを行う会です。ここで言う創作は「小説、漫画、アニメ、イラスト、映画、音楽、ゲーム」等を指しています。私はこの分野に明るいわけではありませんが、興味がある人が多いはずの分野でイベントが無いのが寂しかったので本イベントを主催しました。今回はイベント主催が初だっだという事もあり、小規模に開催しました。参加者は８人で、全員発表を行いました。テーマも論文紹介寄り、研究寄り、アプリ開発寄り、哲学寄りと様々な観点のものがあったのが良かったです。テーマは以下の通りです。発表スライド（一部）は創作＋機械学習LT会 - 資料一覧 - connpassにおいてあります。

midz 「小説の雰囲気に合った音楽の自動割当」

最初は私が発表しました。ゲームでは物語に合わせて音楽が流れるので、そのデータを使って、小説などの物語に合わせた音楽を自動選択するモデルを学習した話です。未知の音楽に対しての判定も可能にするために、モデルにはSiameseNetworkを使いました。

wakadoriさん 「SNSにおける 二次元イラスト閲覧の自動化」

Twitterの良いね情報を使って、ユーザーが好むイラストをリコメンドしてくれるアプリを作る話。リコメンド方法の候補には、協調フィルタリングとコンテンツベースがあります。ユーザー数が少ない時はコンテンツベースが有利。実装はjavascript(photo.js等)を使った行う予定。

Lentoさん「データに寄り添う着色の手法」

線画着色の最新の手法について紹介されていました。pix2pixは、機械が生成した着色絵と本来の着色絵を識別するGANの仕組みで学習します。Style2paintは従来の着色技術の問題を解決するために、着色工程を二段階に分けました。一段回目では従来通りに着色し、二段階目では従来手法がよく陥る誤り（色の選択ミス、はみ出し、ぼやけ）の修正を行います。また、線画抽出は自動で行うが、線画の種類が１種類だと過学習を行ってしまうので、様々な方法で線画抽出を行う手法があるそうです。

Jerry Chiさん「generating-fake-k-pop-faces」

AutoEncoderを利用してk-popのアイドルの顔をする実験を行っていました。icrawlerというツールを使うと、googleの画像検索結果を簡単にダウンロードできるそうです。ノードごとに、髪の毛担当、顔担当などが決まる結果が得られていました。data の正規化やノイズ除去で大きく精度が変わったそうです。

まっくすさん「Rhythm is All You Need：コード進行を考慮したリアルタイム即興演奏生成」

背後で流れている音楽に合わせて、キーボードを叩くと、その音楽に合わせたメロディーを奏でてくれるシステムを作ったお話でした。学習はtheorytabと言われる、楽譜をデータ化したものを使用。モデルはBidirectionalGRU。過学習させた方が、学習データの定形メロディを記憶するため、良いメロディを奏でるそう。

ゆきりんさん「働きたくないイタチと言葉がわかるロボット：人工知能をテーマにした小説の解説」

川添愛さんと言う、言語学、自然言語処理の専門家の方の書いた小説の紹介。文章は、同じ文でも、文脈や発話者の声色によって、意味が異なることがあるため、文章だけを見て意味を理解しようとする現在の機械学習モデルには限界がある。近年の自然言語処理分野の研究では、言語学の知見が使われなくなってきているなどの話がありました

そねおさん「Make ch@tbot characterize：キャラクターの特徴を考慮したチャットボットの作成」

idol m@sterの夢見り○むのLINEのチャットボットを作った話。発表者の意向により詳細は省きます。

やすでぃーさん「漫画を定量化する試み」

漫画の特徴量を使って、話者を推定した研究。特徴量は、セリフ文や、コマ割り、各コマのキャラクターの数、顔の面積の占有率など。キャラクターの描き方や記号、文字数などが特徴量として聞いている事がわかったが、決定的な特徴量はない。また、同じ作者でも、作品によってかなり精度が変わるので、特徴は、作者単位というより作品単位で決まっている可能性が高いとの事。

所感

LTという名目でしたが、皆２０分ほど発表していて充実した議論ができました。好評だったので、次回も開催したいと思います。次回の開催は４月頃を予定しています。今回は初開催だった事もあり、あまり大きな会場を用意できずに少人数で開催しましたが、都合が付けば次回はもう少し大きな規模で開催したいです。