はじめに

東京・西新宿にあるSOMPO美術館で2022.03.26（土）- 06.26（日）まで開催されている、「シダネルとマルタン展　ー最後の印象派、二大巨匠ー」を見に行ってインスピレーションを受けたので、Azure Cognitive ServicesのCustom Visionを使って、シダネルとマルタンの作品を識別するモデルを作りました。

-上記画像は展覧会HPより転載-

本プロジェクトは、東京大学大学院情報理工学系研究科 GCL情報理工学特別講義Ⅳ（ユーザのためのAI入門）という2022年Sセメスター授業科目の最終課題の一環です。

なぜ識別したいと思ったのか

まず、シダネルとマルタンは、同時期にフランスで活躍したポスト印象派の画家です。
主に北フランスで暮らしたシダネルは、どちらかというと曇り空のような暗い絵を、地中海の近くの南仏で暮らしたマルタンは、太陽光が降り注ぐ明るい絵を描く傾向があります。

19世紀末から20世紀初頭のフランスで活躍した画家、アンリ・ル・シダネル（1862-1939）とアンリ・マルタン（1860-1943）に焦点をあてた、国内初の展覧会です。印象派を継承しながら、新印象主義、象徴主義など同時代の表現技法を吸収して独自の画風を確立した二人は、幻想的な主題、牧歌的な風景、身近な人々やその生活の情景を、親密な情感を込めて描きました。

二人は深い友情で結ばれ同じ芸術観を共有しながらも、それぞれの活動拠点に由来して、異なる光の表現を追求します。シダネルは北フランスに特有の霞がかった柔らかな光を、マルタンは南仏の眩い光を描き出しました。

-上記文章は展覧会HPの説明文より引用-

展覧会では、シダネルとマルタンの絵を交互に比較して楽しめる鑑賞体験ができました。

そこで鑑賞中の私は心の中で、
（次の絵は、まずは絵それ自体だけを見て、横の説明文は目に入れないようにするぞ！）
（この絵は色鮮やかだからマルタンが描いたのかな？）
（解説パネルを読んだら、やっぱりマルタンだった～！）
というように、作者当て二択ゲームを始めました。

-上記画像（アンリ・マルタン≪二番草≫1910年個人蔵）は、展覧会にて筆者撮影-

鑑賞を進めるにつれて、私が作者を当てられる確率も上げられたように感じました。
それもそのはず、約30問弱クイズをこなしたからです(※ちなみに展示されていたのは油彩以外も含めて約70点)。

そして閲覧室を出て、一緒に訪れていた友人に話しかけたのです！

「このゲーム、AIの機械学習でやったら面白い結果が得られるかも！」

利用したサービスについて

今回は、Microsoftのクラウド型のAIサービスAzure Cognitive Servicesの中で、画像認識のソリューションのCustom Visionを使用しました。

-上記画像は、Microsoft Docsのスクリーンショット-

また、下記のブログの前半部分の手順を参考にさせていただき、Azureの無料サブスクリプションの範囲で制作を進めました。操作画面のスクリーンショット付きで、初めてのCustom Visionの操作でも躓きませんでした。ありがとうございました。

用意したデータセット

訓練画像として、Wikipedia掲載のパブリックドメインの作品を、シダネルとマルタンそれぞれ16枚ずつ学習させました。日本語版と英語版で掲載されている絵が一部異なり、日本語ページの画像だけでは16枚に達しなかったので、英語のWebページも確認しました。
※Custom Visionで推奨されている学習枚数は50枚ですが、今回50枚集めることは断念しました。ちなみに5枚から分析は可能です。

-画像を学習させる際のCustom Visionの操作画面のスクリーンショット。作品画像は再配布になってしまうので、本記事のためにぼかし加工をしています。-

次にテスト画像として、
・訓練画像としては使わなかった上記Wikipediaの作品画像
・筆者が展覧会で撮影した作品画像
・SOMPO美術館の公式Instagram（@sompo_museum）に掲載されていて展覧会では撮影が禁止だった作品画像
も合わせて、シダネルとマルタンそれぞれ5枚ずつを試し、識別モデルの精度を確認しました。
※今回は学術目的で非営利目的の利用ということで、SNS宣伝画像をお借りしました。

Training Typeは、お手軽なQuickを選びました。Advancedにすると、より深く学習する分、コスト（時間、無償範囲を超える場合は費用も）がかかります。

得られた結果

PrecisionとRecallは83.3%で、APは93.1%という、たった16枚ずつの計32枚の訓練データセットについて学習が進んでいる結果が得られました。

-画像を訓練すると、自動で表示されるダッシュボードのスクリーンショットです。-

識別モデルのテスト画像の命中率は、
なんと10枚中8枚正解の 80% でした！
（シダネル、マルタンそれぞれ5枚中4枚正解です。）

-テスト画像のスクリーンショットをぼかしたものです。-

たとえば、マルタン≪クレマンス・イゾール≫1895年個人蔵ですが、
マルタンのタグに該当するとする判定が99.7%、シダネルのタグとする判定が0.2%となり、とても正確な結果が得られました。

あいにく不正解になった絵の作者推測データは下記の通りです。

まず一枚目、Wikipediaからダウンロードした、シダネルのLe Départ De Tobie (1894)ですが、
マルタン76％、シダネル23.9％の判定が出ていて、マルタン優位の結果になりました。
人間の目で見ても、北フランスのシダネルにしては明るい色彩のように感じます。

次に二枚目、SOMPO美術館のInstagramからスクリーンショットした、マルタン≪コリウール≫1923年個人蔵ですが、
シダネル54.9％、マルタン45％の判定が出て、ややシダネル優位の結果になりました。
人間の目で見て、南仏の暖かな色が表現されていると感じますが、AIは筆のタッチなど別の要因に惑わされたのか…？と考察したくなります。

ぼかし加工でせっかくの筆のタッチがわかりづらくなっていますので、印象派特有のタッチにご興味ある方は以下のリンクから元画像をご覧ください（Instagramログインが求められます）。

想定される意図的なAIへの攻撃

なかなか優秀な今回のモデルですが、
・もし学習させる作品画像の色合いを加工してから投入すると、加工前と比べてどのような精度のモデルになるだろうか
・シダネルの画像の一部分をマルタンの画像に差し替えたら、推測割合にも反映されるのか
今後、探求していきたいと考えています（Update will be coming soon）。

また、今回利用したサービスCustom Visionの訓練画像推奨枚数50枚を確保するのはなかなか難しく今回は諦めましたが、
・自分でData augmentation（データ拡張）をしたら性能はどうなるのか
　例：作品画像を上下左右反転、回転、クロップなどして、一枚の画像を複数枚の扱いで学習できるようにする→学習時にTraining TypeをAdvancedに設定することである程度やってくれる
についても今後検討する予定です。

おわりに

これまでAI画像認識の入門として扱われていたテーマは、モフモフな白い犬と羊の判別だったり、野菜や果物の判別だったり、画像における物体そのものを分類するのが主流でしたが、今回の取り組みは、絵画の作者判定まで簡単に実現できる可能性を示しました。

人間の目で鑑賞することを想定して描かれている作品をあえて機械学習することで、これまでの作品分析では見えてこなかった両作品の新しい相違点が浮かび上がることも期待しています。美術研究の手法としてどこまでAIが役に立つのか、展覧会のキュレーションにおいて結果を応用したらサイエンスの観点も含む美術の展覧会ができるのか、実際に手を動かしてみたことでとてもアイディアが広がりました。

「シダネルとマルタン展」は、新宿のSOMPO美術館で2022.06.26（日）まで開催されています。二人の作品の競演にご関心のある方は、ぜひ足をお運びください。SOMPO美術館には、アジアで唯一の常設展示がされているゴッホのひまわりも所蔵されていて、「シダネルとマルタン展」にてご鑑賞いただけます。（※会期は終了しました。）

-上記画像（フィンセント・ファン・ゴッホ≪ひまわり≫1888年）は、展覧会にて筆者撮影-