1.はじめに

どうも、ARIの名古屋支社に勤務している愛知県民こと、
新藏（にいくら）と申します♪
(/・ω・)/

生成AI、引き続き盛り上がっていますね！

先日、社内勉強会のコンテンツとして、
機械学習モデルの「透明性」と「説明可能性」について考える機会がありました。

そこで今回は上記2つについて、記事にしたいと思います

AIや機械学習について勉強中の方の参考になれば幸いです。
(*^^)v

2.機械学習モデルの透明性とは

2.1.定義

まず初めに定義ですが、機械学習モデルの「透明性がある状態」とは、
モデルの内部構造・動作が明確で、第三者がそのプロセスを理解できる状態のことです。

参考

具体的には、以下のような要素が含まれます。

解釈可能性: モデルがどのようにして予測や判断を行っているかを説明できること。
再現性: 同じデータと条件で同じ結果を再現できること。
トレーサビリティ: モデルのトレーニングデータやアルゴリズムの選択理由など、意思決定の過程を追跡できること。

2.2.透明性を高める方法

続きまして、透明性を高める方法についても調べてみました。
以下の3通りの方法があるようです。

ホワイトボックスモデルの利用
→ 決定木、線形回帰など、内部構造が人間にとって分かりやすいモデルを使う
ドキュメントの整備
→ モデルの設計・学習過程・パラメータなどを記録し、誰でも追跡できるようにする
コードやデータの公開
→ オープンソース化や、データセットの共有により第三者検証を可能にする

3. 機械学習モデルの説明可能性とは

3.1. 定義

こちらも定義ですが、
機械学習モデルの「説明可能性がある状態」とは、モデルが出した予測・判断の理由や根拠を、利用者や第三者に分かりやすく説明できる状態のことです。

参考

透明性が「中身が見える」ことに対し、
説明可能性は「なぜその結果になったのかを説明できる」ことに重点があります。

3.2. 説明可能性を高める方法

説明可能性を高める方法についても調べては見たのですが、
自分自身は40%くらいの理解です・・・

特徴量の重要度評価
→ どの入力（特徴量）が予測にどれだけ影響したかを示します
モデル解釈ツールの利用
→ LIMEやSHAPなど、ブラックボックスモデルでも説明を与えるツールを活用します
局所的説明
→ 特定の予測結果について、なぜその判断に至ったかを個別に説明

4.透明性はあるが、説明可能性がない例

具体例から理解してみるということで、
透明性はあるが、説明可能性がない例を考えてみました。

社内のワークフローシステムを例として

A部署はtest.txtというファイルを受けとり、B部署に送る
→B部署はExcelに転記し、C部署とD部署に送る
→C部署はExcelからcsvに変換し、B部署に送り返す
→B部署はExcelとcsvをPDFに変換し、E部署に送る
→D部署はExcelを複製してファイルの先頭にyyyymmdd_作業前_、yyyymmdd_作業後_をつけ、E部署に送る
→・・・
→test.pdf　と　yyyymmdd_作業後_test.xlsx　と　test_before.png
というファイルがアウトプットになる

上記の例は
フロー自体は決まっている（=透明性がある）のですが、
最終的なアウトプットがどうできたのか説明するのが難しい（=説明可能性がない）
となります。

5.透明性はないが、説明可能性はある例

こちらも前章と同様に、考えてみたのですが思いつかず、WEBを調べました・・・

各テキストが「無神論者(atheism)」か「キリスト教徒(christian)」
のどちらが書いたものかを予測するタスクを考えます。

ここにLIMEを使用すると
判断のロジックはよく分からない（透明性がない）が、
単語が判断にどのくらいの影響を与えたかが分かる（説明可能性がある）
とのことです。

参考

6.おわりに

ここまで読んで下さり、ありがとうございます！！！
(^^)

個人的には軽い気持ちで調べ始めたのですが、違いを整理するのが難しかったです・・・
いつか、この辺りも説明できるように引き続き頑張ります♪
(:3_ヽ)_

7.仲間を募集しています！

最後に告知ですが、
ARIでは東京本社・関西支社・名古屋支社の各拠点に対し、
エンジニア・ITコンサルタント・PM職等の全方位で仲間を募集しています♪
　
カジュアル面談も随時受付中です。
「このQiita記事を書いた人と話してみたい」というオーダも可能ですので、
ぜひお気軽にお問い合わせください！