漫画の自動構築
私の目標とするのは漫画の自動構築をすることです。漫画を構成する要素は世間的にはコマ割り、キャラ、セリフの3つあります。自分は特にセリフの分析をしてみたいと思ています。セリフは各キャラによって表現が異なっています。セリフの表現で、特徴付けや漫画でのキャラの関係性の分析ができるのではないかと思います。
、現在ではネットでの漫画であるWeb漫画などが出てきた。個人の作品も出回るようになった。様々な漫画が出るようになり、各々の好みが細分化されてきている。各々が望む漫画をくみ取り、作りたいと思ったからである。
研究で利用する資料
研究案で行う際のデータ収集
漫画で研究に行うときに使うデータで、使おうと思っているデータは
http://www.manga109.org/ja/
http://ebdtheque.univ-lr.fr/registration/
参考文献としてみてる論文
どんな研究があるのか調べた。論文の表題で面白そうなの
https://www.ipa.go.jp/jinzai/esp/2004youth/mdata/99-03.html
https://ieeexplore.ieee.org/document/7490104
https://www.jstage.jst.go.jp/article/tjsai/32/1/32_WII-D/_article/-char/ja/
https://www.ideals.illinois.edu/handle/2142/47388
https://cloud.google.com/vision/
試し中
前回からの進捗
上のツールを使おうとするがクレジット支払いのために登録を要求される
持ってないので断念する
諦めて論文を探す
4/17報告
いいのを見つけたので使ってみた。入力すると下地とコマ割りできるのが便利。入力方法も複数あるから、便利。
コマ割りやセリフ位置が調整できないのがつらい。
4/20報告
真似しようとコマッタラーのサイトなどで探す。公開されたソースコードがなし。
コマ割りを自動生成するソースコードを見つける。
これはGE文法というので書かれてた。
分割を管理するために、木構造を使っている。リスト構造を使えば実装できる。
4/24報告
文章自動生成の論文を複数探してみた。
小説自動生成のツールを複数見つける。
体調壊して、寝込む。
面白のかなと思った論文。
https://www.anlp.jp/proceedings/annual_meeting/2018/pdf_dir/D7-1.pdf
4/27
事件系の背景シナリオを生成するツール
RPG要素配役が多かった。事件背景は現代の設定が多かった。
物語 シナリオ生成の自動生成は事件モノが多い。ハートフルやコメディ系は見かけない。
http://www.bekkoame.ne.jp/ro/kami/thinking/ScenarioAutoMake.html
5/1
別の漫画の自動生成のツールなどを探すが漫画コマッタラ―に戻ってくる。
イラストの自動生成を見つける。
動かそうとする。サポートが現在使えない。これがフリーで使えるなら、小説の自動生成に合わせて漫画化できるかも
コマ割り使い勝手のいいツールがない。ツール探し中。
5/8報告
機会学習ってどうするのか分からない
初心者むけ動かす
勉強会
悩む
5/15報告
islrの勉強会に参加 要復習
blender体験をする
GANの勉強会
STとしてサポートする
今週から授業始まって大変
授業とも合わせた時間の確保していきたい
週末3日で復習兼理解を深める
5/30報告
ISLRの過去資料を読む
統計学習の手法の1つである最小2乗法について
パラメトリックとノンパラメトリック
教師あり学習と教師なし学習の対比?
モデル精度の評価
柔軟性が大事?
柔軟性がちょうどいいようにしないとダメ
バイアス
極めて複雑な実際の現象を単純なモデルで近似したがために生じる誤差
誤差が小さければバイアスは小さい
GANについて
本物と偽物のデータをDiscriminatorが判断する。最初は偽物データを偽物と判断するがGeneratorが以前のデータから学習し、本物に似せるように生成する。
偽データには隠れ変数が存在し、それが変化することで起こる
6/5報告
自動生成について動かしてみたい
アリスの作品を真似て、文章を生成するのを見つける
やってみる
文章生成できた。最初は同じのを繰り返して出力してたけど、最後は文章っぽくなった。
こちらはkerasの枠組み。
これを日本語にしてみたい.
日本語無理
colab便利
6/12報告
日本語のこころを学習させて、日本語の小説生成させてみる。
エラーが出る。
encodeのあとにcp932をつけたら通った。
できた文章の最初と最後
最初に比べると表現が増えている。けど繰り返しひどい。あとこころのテキストデータに詳細?情報入っている。文章にはない表現ある。これ除きたい。
6/19報告
ルビなどの情報を消したい
除去すてためしてみる
初期の結果
最後の結果
ルビとかの情報が消えて小説の文に近づいた
https://www.anlp.jp/proceedings/annual_meeting/2008/pdf_dir/PB2-4.pdf
このように分類して自動学習させ、ジャンルごとに小説生成できたらいいな
ジャンル分けはif文で行って、その中で学習させて、生成? 時間がかかりそう
ジャンルによっては学習させるデータが足りないかも
6/26報告
理論面からいくならEncoder-Decoderモデルをもとにプラスアルファの部分を作る。
このツールが近いかも。
体が重い とりあえず寝る
文章生成システム「GPT-2」これを改良していく?
GPT-2を触っていく方向
7/6報告
Dockerで動かそうとする。
sudoのコマンド見つかんねぇ。
aptも見つかんねぇ。
Docker構築を見直す。
就活頑張った。夏のスーツはあつい。
とりあえずDockerについて基礎から調べる。
https://knowledge.sakura.ad.jp/13795/
7/13報告
コマンド調べる。なんとかclone通る。けど、sudo通らない。
version確認とかいてみる。
dockerコマンド自体がきえた?
一応他のコマンドを入力してみる。
LEVELの方でDocker構築しようと試みる。
virtual boxで止まる。特におかしいところはなかったはず。
今週呪われている?のかな。勉強会か何か開かないと。
7/20報告
ssh勉強会を開いた。sshでDocker環境を構築しようとする。
畠中君のディープインフィニティでも触れるようになった。
これで構築できる。Dockerをサーバーで構築したいがコマンドエラーが治らない。
全然進まない。