AIはブラックボックス？ 判断根拠を説明する「XAI」を活用して社会課題に挑む日立製作所
機械学習をはじめ、私たちの生活やビジネスの現場で活用が進む「AI」。生活を便利にしてくれる反面、AIの思考プロセスが見えない「ブラックボックス問題」も指摘されています。
AIが出した答えについての思考プロセスを追うことができないブラックボックスの状態では、安心してAIを使うことができません。そこで、AIがどのような経緯で答えを導きだしたのかを説明するAIとして「XAI（eXplainable AI）」が登場しました。
日立製作所では、このXAI技術にいちはやく取り組み、消防など公共事業にも社会課題の解決のために活用しています。今回は「XAIとは何か？」といった基礎的な入門部分から、XAIの活用によって、AIがどう進化してどう社会が変わっていくのか、「救急需要予測AIシステム」プロジェクトに関わった日立製作所の方々に語っていただきました。
目次
プロフィール
研究開発グループ テクノロジーイノベーション統括本部 人工知能イノベーションセンタ リーダ主任研究員
研究開発グループ 東京社会イノベーション協創センタ リーダ主任研究員
公共システム事業部 社会基盤ソリューション本部 防災安全システム第一部
Lumada Data Science Lab. (LDSL) 主任技師
いちはやくAIビジネスに「XAI」を取り入れた日立製作所の未来志向の取り組み
――はじめに日立製作所のAIビジネスへの関わり方について教えてください。近年、実際のビジネスの現場でAIが活用されるようになっていますが、どのように対応されているのでしょうか？
諸橋 : 日立製作所がAIビジネスを行う場合、お客様に直接対応するフロントとなる事業部と、フロントと連携し高度なデータ分析を行うAIビジネス推進部、技術を掘り下げる研究開発部門と大きく3つの部門が連携して活動します。事業部は金融や公共など業種ごとに分かれていますが、AIビジネス推進部や研究開発部門は横断的に対応をするのが特徴です。
流れとしては、まずは事業部がお客様からご要望を受けて対応し、事業部での対応が難しいなどの場合にはAIビジネス推進部も担当します。さらに、既存の技術では対応できない、先端技術を使わないと解決できないと判断されたケースでは、研究所にも声をかけて一緒に対応しています。
逆に、日立の新しいAI・技術を活かして、日立側からお客様に提案をする取り組みも行っています。
――現在のようにビジネスの現場にAIが浸透してくると、いろいろと新たな課題も発生してくるかと思います。どのような課題がありますか？
諸橋 : 銀行の与信モデル等のデータ分析では、高い精度の実現・向上が求められます。このようなご要望に対応していくとモデルが複雑化し、AIが出す答えがわかりにくくなることがあります。このように、一般的に精度の良さとモデルの解釈のしやすさはトレードオフの関係にあります。
近年モデルが複雑化していることもあり、AIがどう解釈し答えを出したのか説明を求められるケースが増えており、これが課題になっています。
ただ、すべてのAIに解釈性が求められるわけではありません。例えば「ECサイトのCVR（コンバージョンレート）を上げたい」とか「クーポンの反応率を上げたい」といったケースでは、結果が優先され「なぜそのようにAIが判断したのか？」をそれほど求められないこともあります。
解釈が求められるものの例として、営業行動にAIを適用した場合に、AIが「この商品が高い確率で売れます」といっても、AIが導きだした答えの理由がわからないと現場に受け入れられない、営業もどうやって顧客にアプローチしたらいいか分からないといった問題が発生することがあります。このなぜか？を説明する「XAI」の技術が求められるわけです。
日立製作所が提供しているAI導入・運用支援サービス
出典：株式会社 日立コンサルティング 「XAI（AIを説明するための技術）活用コンサルティング」
http://www.hitachiconsulting.co.jp/solution/digital/xai/
日立では2020年から、「AI導入・運用支援サービス」の提供を開始しています。このサービスでは、XAI技術を活用して、AIの解釈性を高めています。ちなみに、XAIが単体で求められるケースはあまりなく、データ分析の案件の中で活用されていることが多いですね。
――公共性の高い業務や、医療、金融では、なぜAIがそう判断したのか理由がわからないと現場が混乱しそうです。例えば、金銭的に問題のなさそうに思える人が金融サービスに申し込み、AIが与信でNGを出した場合は「なぜ？」と疑問が生じそうだと感じました。
諸橋 : その通りです。人が判断していたことと違う答えをAIが理由もなく提示すると、理解が難しくなります。どういう観点でAIが判断したのかわからないと良し悪しの判定もできません。
基本的にAIの判断は人の判断と大きく乖離してはいませんが、人がこれまでルールベースでやっていたことと比較すると、違う結果を出してくることがあるので、その理由を知るためにXAIは有効だと考えています。
AI判断の根拠説明技術（XAI）の応用例
説明可能なAI「XAI（eXplainable AI）」とは何か？
――さきほど伺った、説明可能なAI「XAI」について教えてください。そもそもXAIとは、どのようなAIでしょうか？
恵木：XAIはAIの判断根拠を説明する技術の総称ですが、説明の目的や要件に合わせて数多くの種類があります。
大きく2つに分類しますと、1つ目は深層学習や勾配ブースティングといった、高精度だけれど複雑すぎて実質的にブラックボックスになっている既存のAI機械学習で作られたAIを対象に、その中身を説明するタイプの技術で「ブラックボックスエクスプラネイション（Blackbox Explanation）」と呼ばれています。
2つ目は、はじめから人にも中身が理解できる新しいタイプのAIで「トランスペアレント（Transparent）モデル」と呼ばれています。日立では、どちらにも取り組んでいて、事業部やお客様の要件に合わせて、さまざまなタイプのXAI技術を研究開発しています。
XAIに対する2つのアプローチ
――XAIの世界は、学会などで論文も多く出されていて、ダイナミックに変化していると聞きました。そんなに種類が多く、進化のスピードが速いのでしょうか？
恵木：XAIの世界は、本当に変化や進化のスピードが速いです。アカデミアでは毎週のように新しい技術や論文が次々に登場しています。私たちはそれをつぶさに精査して、使えるものはどんどん取り入れようと貪欲な姿勢で取り組んでいます。
注意する点は、アカデミアで提案される手法の多くは初期検討段階のものが多く、実際のビジネスに適用しようとすると、汎用性、計算速度、暗黙の前提などの課題が出てきて、そのままでは使えないことが多いです。私たちはそういった最先端のXAI技術をビジネスで使うときに生じるギャップや課題を丁寧に解決して、さらに独自の価値を付加することで、実際のビジネスで使えるものを開発しています。
――日立のスタンスは、社会課題やお客様のニーズに応えられるものを作ることにあり、そういった観点で研究されていらっしゃるのですね。
恵木：おっしゃる通りです。これまでAIといえば、精度という分かり易い指標に注目が集まっていたように思います。ここに新たに説明性という指標が入って来たのですが、何を説明すればAIを使う現場担当者が腹落ちするのかについては普遍的な正解はなくて、その現場でAIをどう使うのかによって正解が変わってきます。そういった意味で、私たちはXAI技術をひとつの技術ではなく、目的や要件に合わせた技術のポートフォリオと考え、拡充する方向で考えています。
――XAIの研究において、日立ではどのような企業や機関と協創されていらっしゃいますか？
恵木：まず、お客様という観点でいいますと、消防などの公共機関、そして金融機関です。XAIが出力する根拠が実際のビジネスで使えるかという観点で、問題点や疑問点の解決に一緒に取り組んでおります。
つぎにアカデミアとの連携です。XAIは機械学習と統計学の両分野にまたがる分野でもあります。そこで私たちは、スタンフォード大学の統計学の専門家とも一緒に協創を進めています。
統計学は機械学習に比べると長い歴史を持っており、実際のビジネスの現場で人命・安全・財産などの重要な意思決定の場面での活用を通じて、予測の説明性・信頼性について厳しく磨かれてきた学問体系と考えています。そこで、最先端の機械学習手法に、伝統的な統計学の考え方を取り入れることでXAIをブラッシュアップしていくことが大切だと考えています。
スタンフォード大統計学の研究チームの取り組みがXAIと相性が良さそうだったので、日立側からお声がけした所、ご快諾を頂き共同研究が始まっています。
消防機関が使用する「救急需要予測AIシステム」にXAIを導入した事例について
――では、XAIを実際に導入されている事例についてお伺いします。XAIを活用した消防機関用の「救急需要予測AIシステム」プロジェクトについて教えてください。
福島 : 消防機関のお客様の課題として、全国的に救急車の出動回数が増加していることがあげられます。出動回数の増加に伴い、救急車が現場に到着する時間が延伸してしまわないよう、消防機関や自治体の皆様も救急車の運用に取り組まれていますが、我々としても、何か良いソリューションを提供したいといったことからプロジェクトがスタートしました。
――そのような緊急性の高い社会課題に対して、どのようなシステムを提供されたのでしょうか？
福島 : ご提供しているのは、1km単位で事案発生件数と現場到着時間を予測して、平均現場到着時間が最短になる救急隊員の配置をAIがレコメンドするというシステムです。
119番をかける方の数を予測して、色の濃淡で地図上に表示します。救急車をこの場所に配置すれば現場到着時間が短縮できるのではないか、といったことをAIが計算して表示します。
救急需要予測AIシステムの概要
――なぜ、XAIが必要になったのか、理由をお教えてください。
福島 : 人命に関わることですから、消防機関のお客様も提供する我々も、AIがどう考えて計算結果を出したのかという根拠がセットでないと安心して使えないと考えました。そこで、AIで予測すると同時にXAIの技術を組み合わせて、AIがどんな判断基準で結果を出したのか理由を同時に提示するようにしています。
――AIが出した判断に人が納得できないときに、その説明材料をAIが同時に見せてくれるということですね。
福島 : はい、そうです。AIが知り得た情報だけで出した結果が、現場の隊員の肌感覚に合わなかった場合に、現場の隊員の方の情報もAIに教え、予測のブラッシュアップを検討するためにもXAIを活用しています。
――今回の「救急需要予測AIシステム」プロジェクトはどのような体制で対応されたのですか？
福島 : 私はフロントSEとしてプロジェクトに携わらせていただきました。一般的には、私が所属する部署がソフトウェアとハードウェアを組み合わせてシステムという形でお客様にご提供します。しかし今回は、AIとXAIの技術を使用しているので、研究所の方々にデータ分析という形で加わっていただき、プロジェクト体制を組んで対応しました。
中江 : 経緯を補足しますと、以前、私はヘルスケア向けのデータ分析をやっており、患者の容態変化の予測にAIを活用する研究をしていました。
「これを消防の救急分野にも応用してはどうだろう」と大学病院の先生からアドバイスいただいて、消防向けのAI活用ソリューションを開発する研究テーマを立ち上げました。そこで、福島さんが所属している部署に救急現場での課題をあげてもらい、AIが適用できそうな課題にフォーカスを定め、その第一候補が救急需要予測ということです。
また、人命に関わることなので、はじめからXAIが必要だと考えていました。そこで、XAI研究を立ち上げていた恵木さんに相談をして、ふたつの研究テーマが連携する形で開発がスタートしました。
――まず、ひとつ消防に関する社会課題を見いだされて、現実的に何ができるかを検討して、さまざまな研究テーマと専門スキルを持ったメンバーが集まってくるイメージですね。
中江 : 社会課題とそれに適用できそうな技術を見つけ、どこまで実現できるかを両睨みしつつ、さらに事業性も考えてビジネスモデルを構築しながら進めていきます。
――さまざまな社会課題がプロジェクトのトリガーになっていることが多いということでしょうか？
中江 : 私が在籍しているのが、現場の課題点から進めるスタンスの部署ということもあります。お客様とも会話をさせていただいて、「これを解決しないと大変だろうな」と共感することが起点になっています。
――日立には、多種多様な研究をされている方がいらっしゃって、グループの力を活用できるメリットがありますね。
中江 : 同じ建物にコアな技術を研究している人たちがいて、ちょっといけば立ち話ができるのは凄いことだと思っています。また、日立は社会の多方面をカバーしているので、他の分野、例えば金融や物流といった他業界からの情報が入ってくることも強みです。自分でいうのもなんですが、日立の研究者は優秀なので、そのような方々と繋がれるのはとても良いことだと思っています。
「XAI」を活用したプロジェクトのアピールポイントとは？
左上：諸橋氏、左下：恵木氏、右上：中江氏、右下：福島氏
――今回のプロジェクトを進めていくにあたり、皆さんの役割や使った技術、感じた課題や「やりがい」をお話しください。
福島 : 私はフロントSEとして今回のプロジェクトに携わらせていただきました。救急車の現場到着時間を少しでも短縮できるような結果が求められます。それを導きだすためには、AIにどのようなデータを渡せば良いのか研究所の皆さんに相談しながら検討しました。
使用したデータは主に救急活動の記録です。どこで119番の案件が発生し、隊員が何分間の活動を行ったか、他にも気象データなどを組み合わせて、AIが予測をします。
開発後の今となっては画面上に、ヒートマップや事案の件数、現場到着時間の予測結果を出すことができますが、開発当初はAIを活用して、どのような形で提供するのが良いかわかりませんでした。どれぐらいの粒度で予測結果を出せばいいのかなど、相談しながらイメージを固めていきました。
中江さんがプロトタイプをすぐに作ってくれて、早い段階から動くものが見られたので、SE側としても、AIの分析結果が見やすい工夫をして準備できたのが良かったと思います。
中江 : 私の役割は、事業部と技術開発を繋ぎ、ビジネス開発まで考えていくことです。今回のケースでいうと、救急需要の研究は20年ほど前から実施されていたので、まず過去の論文を調べて、どのような説明変数が今回の予測に有効なのか、あたりをつけることからスタートしました。
加えて、救急隊側の調査も行いました。近隣で事案が続けて発生する場合もあり、最寄りの隊の説明変数だけではなく、2番目、3番目に位置する隊の説明変数も必要といったことを現場の声から拾うことができ、説明変数を付け加えることも考えました。
工夫した点は、モヤモヤっとしたよくわからない状態から、多くの人と話を重ねることで方向性を固め、合意形成をしていくことです。プロトタイプをお見せして「いいね！」みたいな反応が返ってくることに「やりがい」を感じていましたね。
恵木：当時、お話をいただいたとき、ちょうどXAIが流行りはじめた段階だったと思います。因子型の根拠説明の方式が山のように登場した時期でした。そのような状況下で、今回使った「シャープレイ（Shapley）」という手法が幾つか登場してこれは使えると思ったのを覚えています。シャープレイは、そもそも説明とはこうあるべきという「べき論」から、きちんと定義された理論だったのでそれまでの研究とは一線を画す技術でした。
シャープレイにも対象とする機械学習モデルや計算量が異なる幾つかの方法があるので、「救急需要予測AIシステム」プロジェクトに適したものを、ご提案できたと思っています。
中江 : アンサンブルツリー系のアルゴリズムを使うのか、ディープニューラルネットワーク系のアルゴリズムを使うのかと、アルゴリズムを検討していたとき、恵木さんからシャープレイのお話がありました。アンサンブルツリー系ではシャープレイを使うと早く結果が出てくるという話を聞いて、シャープレイとアンサンブルツリー系アルゴリズムの組み合わせでやりましょうという話になりました。
恵木：プロジェクトの後日談となりますが、XAIはお客様にAIの根拠を説明する部分に注目がいきがちですが、例えば、AIの精度が思ったように出ないとか、AIの予測がちょっとおかしいなっていう場面があります。この場面でXAIを使うと、なぜ精度が出ないのか、なぜ挙動がおかしいのか、その手がかりを得ることができます。効率的に原因を突き止めて、改善策に繋げることができるわけです。
今回のプロジェクトでも、そのような場面が実際にあり、自分達が研究しているXAIが貢献できていると「やりがい」を感じることができました。
「救急需要予測AIシステム」にXAIを実装して、得られた効果は？
――「救急需要予測AIシステム」にXAIを実装されて、どういった効果があったか教えてください。
福島 : 「救急需要予測AIシステム」にXAIを採用したことは、非常に良かったと評価しています。
XAIによって、私たちSEも「なぜAIがこんな結果を出したのか」「どの変数が影響を与えているのか」といったことを可視化して確認することができます。その結果、研究所の方々に相談しながら、新しい情報を足すべきか、データを別の形に加工した方がいいのか、といった検討をしながら開発をすることができました。
――他にプロジェクトを通してお気づきになった点、得られたことなどはありますか？
福島 : 私個人としては、AIの「気持ち」がわかるようになって良かったと思っています。XAIによってAIが愚直に計算し、分析することは理解できたので、AIの得意なこと、不得意なことの動きがつかめるようになり、いい経験ができました。
私たちがAIを提供する際には、やはり理由や根拠がわかることが大切だと感じています。そういう意味で、XAIは今後も使っていくべき技術だと思っています。
日立製作所の研究者、技術者が考える、AIと人間がともに歩んでいく未来予想図
――AI、XAIが進化していくと未来はどうなるのか、どんなビジョンを思い描いていらっしゃいますか？
中江 : AIが進化して、社会に浸透していくと、もう少しステルス化していく気がします。要するにAIを使っているってことを意識せずに、知らない間にAIが支援してくれるようになると思います。ただ、そうなると「XAIはどうなるんだ？」っていう話になりますが（笑）
恵木：日本では労働人口が低下し、熟練した職人や専門家の数も減っています。そういった人のスキル、技術をAIが代替していくことは、必要不可欠になっていくだろうと考えます。ですので、これを円滑にしていくような技術や役割が、研究開発側に求められるのではないでしょうか。
中江 : 医療や人の健康に関わる分野は、データそのものが機微（センシティブ）なこともあり、まだAIを活用しきれていない気がしています。今後は個人情報などに配慮しながらデータを集め、人命が脅かされないような安全かつ有用なAIを開発する動きが広がっていくと思っています。今回の「救急需要予測」は、その“はしり”というか、一部なのかもしれません。
――今後、AI、XAIを広めていく中で日立製作所の役割や、ご自身が取り組みたいミッション、夢などを教えてください。
中江 : AIが世の中に広まってきていますが、個人的には、主導権を人から奪ってほしくないと思っています。人の主体的な意思決定を支援するものとして、AIを有効活用していく世の中になっていければいいですね。
そうなると、XAIがより重要になってくると考えます。なんでもAIに従って動くのではなく、AIの判断を人が理解して効果的に使うためにもXAIは有効です。夢物語的かもしれませんが、AIを使って人間も学習して賢くなり、パワーアップしていくと良いなと思っています。
福島 : 私も主導権はAIに奪われたくないなと思っています。AIを理解していけば、数学の技術を使ったものであり、意識があるわけではないことがわかります。AIと敵対するのではなく、AIが得意なところ、人が得意なところを組み合わせて融合していくのが良い付き合い方なのかなと考えます。
「機械と仲良くなる」というのは、日本人が昔から得意なのではないでしょうか。世界的に見ると、日本はAIが遅れているという印象もありますが、AIとうまく付き合っていくといったところでは日本のポテンシャルは高いと思っています。
恵木：今、AIの知識と人の知識を融合させることが可能になりつつある時代のように感じます。
XAIでは「AIはデータの中から、こんなことを知識として発見した」という結果が出てきますが、この知識が間違っていることもあります。知識の間違いを訂正すると、AIの精度が向上することが報告されていて、アカデミアでも話題になっています。
つまり、AIが発見した一部分を人の知識で置き換えてあげると、より良いAIになっていくというわけです。こういったことが最近のトレンドのひとつとしてありますので、AIが見つけたことと人の知識を組み合わせることで、より良いものが出来上がっていくのではないかと考えています。
――AI活用における、日立製作所のポジショニングや「強み」をどのように捉えておられますか？
福島 : 日立はさまざまな社会インフラ関連のシステムに携わらせていただいています。これらで得た知見と、新たなAI技術を組み合わせて、お客様へ価値を提供できることが強みだと感じています。
中江 : 日立の特徴は、やはり「OT（Operational Technology）」にあるのではないでしょうか。今回の消防システムや、人が身に付けているウェアラブルセンサーのデータ、リアルな産業システムからあがってくるデータなどを活用し、現場で実用可能なAI技術の提供ができることに強みがあります。これからも、きめ細かく現場を見ながら、丁寧に作りあげていきたいです。
諸橋 : 自社サービスだけをやっている企業では、限られたデータにしか触れられません。日立なら、グループ各社の冷蔵庫や家電といったところまで、幅広くデータ分析ができます。金融業、小売業をはじめ、数多くのお客様との取り組みがあるので、多種多様なデータに触れられるのが日立の魅力です。
恵木：多種多様なデータもありますが、日立には多岐にわたるドメインのエキスパートが数多く在籍しています。知識を持っていて、さらにAIを使いこなせる人財が揃っている会社は、世界でもそれほど多くないのではないでしょうか。
これが「OT✕IT」という表現で発信していることです。日立はこれからも先端技術を活用して社会課題を解決、エンドユーザーにリーチするラスト1マイルを担っていきます。
編集後記
AIは、ステレオタイプのSF小説では悪役に描かれることも多く、機械学習がブームになったとき「怖い」といった感想を持った人も少なくなかったそうです。しかし、その利便性の高さから、AIはどんどん私たちの生活の中に入ってきています。
今回、皆さんのお話を伺うと、AIはけっして悪役ではないし、怖くもないことがわかります。XAIは従来のAIと人間を繋ぐ通訳、または架け橋のような存在として今後ますます重要になり、進化していくことでしょう。
また、消防など公共分野での社会課題解決への取り組みを知ると、日立製作所の技術力の高さに加えて「熱意」がひしひしと伝わってきて、とても頼もしく感じられました。
取材／文：神田 富士晴
「Qiita×HITACHI」AI/データ×社会課題解決 コラボレーションサイト公開中！
「Qiita×HITACHI」AI/データ×社会課題解決 コラボレーションサイト公開中！
日立製作所の最新技術情報や取り組み事例などを紹介しています
コラボレーションサイトへ
日立製作所経験者採用実施中！
信頼できるAI技術に関する研究開発
募集職種詳細はこちら
AI・ドローン等の新技術を用いて、公共システムのDXを推進するソリューション・サービスの企画、開発
日立製作所経験者採用実施中！
日立製作所の人とキャリアに関するコンテンツを発信中！
デジタルで社会の課題を解決する日立製作所の人とキャリアを知ることができます
Hitachi’s Digital Careersはこちら