NTTドコモのクロステック開発部に所属する勝見と申します。今年は、アドベントカレンダーの記事の9日目を担当することになりました。ちなみに、前年度のアドベントカレンダーでは強化学習の初学者向けの記事を書いていましたが、今年は自分の学会活動についての記事を書かせていただきます。
Generic POI Recommendation
今年の夏頃に Generic POI Recommendation というタイトルでUbiComp20202へ投稿していたポスター論文が無事 accept されましたので、2020年9月12日～17日 (EDT) に開催された UbiComp2020 の本会議への参加とポスター発表を行ってきました。UbiComp はACMが主催するユビキタスコンピューティング分野のトップカンファレンスで、取り扱われる内容はセキュリティ、センシング、HCI、モビリティ、IoT等、広範囲にわたります。私は恥ずかしながら、社会人になって初めて会議名を知ったのですが、実際はGoogle、Intel、Microsoftなどがメインスポンサーを務める非常に規模の大きなトップカンファレンスでした。当初はメキシコのカンクンでの開催が予定されていましたが、コロナ禍の影響を受けてオンラインでの開催となりました。参加前は、初のオンライン学会への参加への不安や期待で複雑な心境でしたが、参加してみるとオンラインでも従来の会議と同様の交流ができるように様々な工夫がされていて、とても貴重な体験となりました。本記事前半は僭越ながら私の投稿論文の紹介をさせていただきたいと思いますが、記事後半ではこのあたりのポスターセッションの様子についてもご紹介します。
ジェネリック観光地 (Generic POI)
さて、読者の多くの皆さまはマチュピチュやナイアガラの滝などの観光スポットをご存じだと思いますが、日本国内にも「日本のマチュピチュ」、「日本のナイアガラの滝」といった観光スポットが存在することはご存じでしょうか。前者の「日本のマチュピチュ」は兵庫県の竹田城が、後者の「日本のナイアガラの滝」は大分県の原尻の滝などの異名です（他にも同様に呼ばれているスポットは数箇所ありますが）。本論文では、タイトルの一部になっている Generic POI (point-of-interest) という概念を提唱しています。ここで「Generic」は所謂、ジェネリック医薬品などの「ジェネリック」と同じような意味合いで、ジェネリック医薬品の観光スポット版といったものをイメージしたもので、竹田城はマチュピチュの Generic POI、原尻の滝はナイアガラの滝の Generic POI ということになります。
観光は私たちに非常に身近なレジャーですが、一方で観光客が特定の観光スポットに一極集中し、観光公害などが発生するといった問題点もあります。また特に最近ではコロナ禍で以前のように自由に観光を楽しみ、多くの人々が密集する有名観光スポットに足を運ぶということが難しい状況です。しかしながら、既存の多くの観光スポット検索システムは、事前に蓄積されたスポットの口コミ情報やSNSの情報などからスポットを推薦するものが多く、推薦されるスポットの上位の大半は既にある程度有名なスポットがランキングされるようなものがほとんどであり、観光公害の緩和やコロナ禍でのソーシャルディスタンスを保った観光などとは相性が良くありません。
そこで、本研究では冒頭でご紹介したように、有名観光スポットの代替スポットとなる Generic POI をWeb上の情報などからマイニングし、旅行を計画している人々や観光客に提示することで、観光公害の解消や感染症対策などにつなげることを提案しました。
手法
本研究では Generic POI のマイニング方法の一つとして、観光スポットの見た目の類似度に着目し、Web上から収集した有名観光スポットの画像と類似したスポットを Google Maps 上から探索し、類似度の上位N件のスポットをGeneric POIとして提示するというシンプルな手法を実装し、客観評価を行いました。冒頭の図は提案システムのoverviewです。具体的には、
1) まず、Generic POIの探索候補として、Google Mapsなどを用いて特定のエリアのスポット (POI) 及びそれらのスポット画像を収集します。（本研究では、この候補となるPOIを候補スポットと呼ぶことにします。同時に、マチュピチュなどの既存の有名観光スポットの画像についてもWeb上などから事前に収集しておきます。
2) 次に、すべての候補スポットと有名観光スポットの組み合わせについて、スポット画像同士の類似度を算出します。本研究では、スポット画像の特徴量ベクトルへの変換方法として、
- Method-1) Places365 データセットで学習済みのResNet18を用いて出力した Visual Concept ベクトル
- Method-2) GIST 特徴量ベクトル
- Method-3) Places365 データセットで学習済みのResNet18を用いて出力した Embedding ベクトル
の3パターンを実装、比較しました。なお、Places365 データセットは風景画像と各画像に写り込んでいる物体のラベルを付与した風景画像版の ImageNet のようなデータセットで、本研究でも利用した ResNet18 などの学習済みの推論モデルが公開されています。GIST特徴量はスポット画像の大局的な構図などの特徴を主に抽出します。また、Visual Conceptベクトルは各画像のPlaces365のラベルの確度を正規化した365次元のベクトルで、スポット画像の意味的内容を抽出します。そして、Embedding 特徴量は両者の特徴を同時に抽出できていると考えられます。なお、画像類似度の算出には、Method-1、2についてはcos類似度、Method-3についてはL2距離を用いました。
3) そして、(2) で算出した類似度の上位N件を Generic POI として提示しました。ただし、各候補スポットには複数画像が付与されている場合は上位N件から最も類似度の高い画像ペア以外の重複した候補スポットの画像を除外しました。後述の客観評価の際は、N=5, 10, 15の結果を比較しています。
客観評価用データの収集
客観評価にあたっては、実在する Generic POI のground truthが必要です。本研究では既にWebメディア等で有名な
- 竹田城 (マチュピチュに類似)
- 太陽公園 (ノイシュバンシュタイン城)
- 天窓洞 (メリッサーニ洞窟)
- 弁慶のはさみ岩 (シェラーグボルテン)
- 原尻の滝 (ナイアガラの滝)
を Generic POI の ground truth とし、これらが正確かつ漏れなくマイニングできているかを評価対象しました。具体的には、上記の既存の有名観光スポット (i.e., マチュピチュ, etc.) のスポット画像を各5枚づつ計25枚Web上からクローリングして収集し、一方で、Generic POIの探索候補として Google Maps上から、上記の実在する Generic POI（i.e., 竹田城, etc.）それぞれとその周辺のスポットを含む各スポットの周辺の上位スポットを候補スポットとして利用しました。Table 2 は実際に評価に利用したスポット画像の規模で、最終的に全224スポットについて1972枚のスポット画像をGeneric POIの探索候補として収集し、そこに含まれるGeneric POI 10件を正確かつもれなく抽出できているかを客観評価しました。
評価実験
上記が ResNet18 の Embedding を用いて類似度算出を行って、実際に提示されたGeneric POIを例示したものです。実際にWeb上などで有名な有名スポットに類似したスポットとして Generic POIが抽出されていることが確認できます。
また、客観指標として Precision@N、Recall@N を算出しました。
ここで、TopNは上位N件として提示された Generic POI の集合で、$\mathcal{G}$ はエリア内に実在する Generic POI の集合です。すなわちPrecision@Nは提案システムにが正確に実在する Generic POI を提示しているかどうか、Recall@N は提案システムが実在する Generic POI を漏れなくマイニングできるているかどうかを表しています。また、GIST特徴量は風景画像の大局的な構図などの情報を、Visual Conceptベクトルは風景画像の被写体の内容を抽出する特徴量で、これらのみを用いた手法よりも Embedding による手法が精度が上回ることも確認できました。
表1が上記で説明した手法および収集した実在する Generic POI のデータを用いて評価実験を行った結果で、類似度計算にVisual Concept、GIST特徴量、Embeddingのそれぞれを用いた場合のPrecisionとRecallを掲示しています。ここから、Generic POI のマイニングにおけるスポット画像類似度の算出方法としてはResNet18を用いたEmbeddingが3つのうちで最も適切で、実際にGeneric POIをある程度正確にもれなく提示できていることが確認できました。また、Generic POI のマイニングにおいては、スポット画像の被写体の状況だけでなく、構図などの特徴量を併用することが有用あると推測されます。実際に竹田城とマチュピチュなどは、スポット画像の内容としては異なるものです。
ということで、自分の論文紹介が長くなってしまいましたが、Generic POI Recommendation というタイトルで
Generic POI という概念を提唱するというテーマで今回は UbiComp2020 のポスターセッションへの論文投稿を実施しました、というご紹介でした。論文そのものの内容としてはまだまだ、評価に利用したデータセットが小規模なものであったり、類似度算出の精度向上や主観評価の実施など、取り組むべき課題はたくさんありますが、この Generic POI という概念が、観光公害の緩和やコロナ禍での新たな観光レジャーの創造へのアプローチの一つのきっかけになるといいなと思っています。もしかすれば、例えば、観光産業の創生に苦労している地方自治体がそれぞれの地域から Generic POI を発掘し、町おこしや地方創生につなげるということもできるかもしれません。
バーチャルポスターセッションの様子
今回のUbiComp2020はオンラインの開催でした。私の発表に関しては、見た目9割みたいなところがあるので、多少は見栄えが良かったようで様々な人に興味を持っていただき、フィードバックをいただくことができました。一方で、ポスター発表についてはオーラルの発表とどのように差別化、ディスカッションの機会があるのかとacceptされた直後から心配が9割と期待が1割程度でしたが、UbiCompではリアルではとてもおもしろい試みが行われていましたので、さいごにご紹介したいと思います。
上図は今回のポスター発表のオンライン上での様子ですが、UbiComp2020 のポスターセッションは Gather.town というWebアプリケーション上で開催されていました。Gather.townはWebブラウザ上で動作するアプリで、キーボードの方向キーを用いたアバターを操作してバーチャル上のポスターセッション会場を移動することができます。また、図の左に示しているのがポスター会場の様子ですが、赤い枠内に入るとポスターのリンクが表示されてポスターを見ることができます。この Gather.town とポスターセッションの相性の良かったところは、アバターをハの字のような線で示されたエリアに移動させると画像の右のようにビデオセッションが自動で始まり、ポスター発表に関するディスカッションにシームレスに映ることができるという点です。所属部署の他のトップカンファに参加された先輩方のお話では録画したスピーチを流すだけ、という少し寂しいオンラインでの開催形式の学会が多かったようですが、UbiComp2020 でこうしたバーチャル空間でも以前のリアル会議と遜色ない経験ができたのは、大変貴重な経験となりました。むしろ、私としては英語が苦手かつリアルの場での大人数との交流があまり得意ではないタイプの人間には、こうした会議形式は質問応答にしっかりと集中することできたり、 あとは堂々と用意したカンペを見られたり 、バーチャル上での開催のメリット (?) も感じましたし、今後もこのような参加形式が一つの選択肢として残っても良いのではないかとも思いました。 （海外出張の旅費も安くはありませんし、No showとかするくらいならオンラインで自分のセッションだけでも参加、みたいな形でも良いと思います。。。）
余談ですが、本来は会議が開催される予定であったカンクンのビーチのエリアも用意されていました。私が行ったタイミングでは誰もいませんでしたが。。。あと、後から知ったのですが、ICLRなどのトップカンファレンスでも Gather.town が利用されていたようです。
さいごに
私がご紹介したテーマはかなり異色ではありますが、NTTドコモのR&Dではさまざまなテーマの研究開発を行っています。そのほかのテーマについては、今回のアドベントカレンダーの他の記事などをご覧いただければ幸いです。また、まだまだアイデア段階ではありますが、今回のテーマを応用したサービス開発をしたい、等のご要望がございましたら、ぜひ、勝見までご連絡をいただければと思います。