スケッチメーカーでAIに鉛筆画のスケッチを描いてもらいました！
— 2z / AIメーカー (@2zn01) January 15, 2021
スケッチメーカーでは画像をアップロードすると、それをもとにAIが鉛筆画のスケッチを描いてくれます！ https://t.co/zRKASfmkuX #スケッチメーカー pic.twitter.com/clsHWlpcUZ
明けましておめでとうございます。
趣味でWebサービスの個人開発をしている、2z（Twitter： @2zn01 ）です。
普段は以下のようなサービスを開発・運営していますので、興味があるものがございましたら、ぜひとも使ってみて頂けると嬉しいです！
-
AIメーカー
https://aimaker.io/
誰でも簡単にAIを作ったり、試したりできるサービスです。
使ったAIを活用するためのAPIも提供していますので、ぜひご活用ください。 -
文字起こすくん
https://text.aimaker.io/recognize-bot/
画像、音声、動画をアップするだけで簡単に文字起こし・書き起こしできるサービスです。話者の識別も可能になりました！ -
テロップメーカー
https://text.aimaker.io/recognize-video/
動画をアップロードするだけで、動画内の音声を認識して文字起こしを行い、自動で動画に字幕・テロップをつけるサービスです。こちらも話者の識別が可能になりました！
今回作ったもの
今回は
この「AIメーカー」で鉛筆画の作画プロセスを生成するAIを試せる「スケッチメーカー」という機能を作りましたので、ご紹介します。
- スケッチメーカー
https://watchclub.house/
【お知らせ】
— 2z / AIメーカー (@2zn01) January 15, 2021
画像からAIが鉛筆画のスケッチをしてくれる「スケッチメーカー」という機能をリリースしました！🎉
写真やイラスト、Twitterのアイコンからもスケッチできるので、ぜひ試してみてくださいー！🙌
頑張って作ったので、いいねやRTしてくれると嬉しいです！🙏https://t.co/KWGHS8g2qt
何ができるの？
画像をアップロードすると、その画像を鉛筆画として作画した際のプロセスを動画もしくはGIFアニメーションで生成することができます。
言葉で説明するよりも、実際に見てもらった方が分かりやすいと思います。
以下のように、画像をアップロードすると、画像を鉛筆画として作画するプロセスの動画が生成することができます。
スケッチメーカーでAIに鉛筆画のスケッチを描いてもらいました！
— 2z / AIメーカー (@2zn01) January 15, 2021
スケッチメーカーでは画像をアップロードすると、それをもとにAIが鉛筆画のスケッチを描いてくれます！ https://t.co/zRKASfmkuX #スケッチメーカー pic.twitter.com/clsHWlpcUZ
他にもこんな感じで生成することができます。
スケッチメーカーでAIに鉛筆画のスケッチを描いてもらいました！
— 2z / AIメーカー (@2zn01) January 15, 2021
スケッチメーカーでは画像をアップロードすると、それをもとにAIが鉛筆画のスケッチを描いてくれます！ https://t.co/KFdaCgvcey #スケッチメーカー #いらすとや pic.twitter.com/paDt5a5xl9
システム構成図
スケッチメーカーのシステム構成図は以下の通りです。
Amazon Web Services（以下、AWS）を使ってサービスを構築しました。
大きな構成としては、主にユーザからのリクエストを受け付けるフロントサーバと機械学習の処理を取り扱うバックエンドサーバの2つです。
使用技術
Linux
クラウドのホスティングはAWSで、EC2でサーバを立てています。
サーバのOSはLinuxでフロントサーバ側はAmazon Linux2、バックエンドサーバ側はUbuntuを使っています。
Apache
webサーバはApacheを使っています。
Nginxもありますが、Apacheは普段から使っており、設定方法も把握しているため、いつも通りの安定の選択としました。
MySQL（Amazon RDS）
データベースはMySQL（Amazon RDS）を使用しています。
NFS（Amazon EFS）
各インスタンスでファイルを共有するため、NFS（ネットワークファイルシステム）として、Amazon EFSを使用しています。
PHP
フロントサーバのプログラムはPHPを使って実装しています。
Python
バックエンドサーバのプログラムはPythonを使っています。
また、フロントサーバ側からバックエンド処理を呼び出すためのAPIは、「FastAPI」というフレームワークを使って実装しています。
- FastAPI
https://fastapi.tiangolo.com/ja/
仕組み
画像から鉛筆画の作画プロセスを生成する部分に関しては、以下の論文・コードをご覧ください。
- 論文
Sketch Generation with Drawing Process Guided by Vector Flow and Grayscale - コード
GitHub上にコードも公開されています。
TZYSJTU / Sketch-Generation-with-Drawing-Process-Guided-by-Vector-Flow-and-Grayscale
論文によると、与えられた画像（I）をもとに3つの処理（ETF、Q、G）が行われ、最終的には出力（R）を得るという流れとなります。
また、そのプロセスで進捗を画像で出力していくことで、作画プロセス（制作過程）を見ることができます。
そして、最後に作画プロセスごとに出力されたすべての画像（コマ）を結合することで、動画およびアニメーションGIFを生成することができます。
もう少し詳しく仕組みを知りたい方は、日本語で記事を書いている方がいらっしゃいましたので、以下の記事をご覧ください。
最後に
今回は鉛筆画の作画プロセスを生成するAI「スケッチメーカー」について、ご紹介しました。
以下のURLよりぜひ試して遊んでみてください！
■URL
https://aimaker.io/sketch-art/
実際に試して頂いた方のスケッチはTwitterのハッシュタグ「 #スケッチメーカー 」から見ることができます。皆さんもぜひ試して頂いた際には、試した結果をTwitterにシェアして頂けると嬉しいです！
また、このサービスに少しでも興味をもって頂けましたら、ぜひともフォローやいいね、リツイートで応援お願いします！
スケッチメーカーでAIに鉛筆画のスケッチを描いてもらいました！
— 2z / AIメーカー (@2zn01) January 15, 2021
スケッチメーカーでは画像をアップロードすると、それをもとにAIが鉛筆画のスケッチを描いてくれます！ https://t.co/zRKASfmkuX #スケッチメーカー pic.twitter.com/clsHWlpcUZ