AIが私たちの日常生活をどのように変化させてしまうかについては、常に多くの懸念がありました。2017年に出版された書籍「QualityLand（邦訳：クオリティランド）： Marc-Uwe Kling 著」では、AIが文明の未来に与える圧倒的な影響を巧みに風刺しています。この本は、私たちがすでにある程度経験していて共感可能な内容を大げさに描いていますが、「人間が一定の介入と責任を持たない限り、私たちの生活の重要な部分はAIによって奪われてしまう」という可能性に気づかせてくれます。

現在、デジタル化とAIの世界を変化させている大企業について多く取り上げ、一般世間の懸念やAIに対する信頼というテーマも必然的に扱っています。また、データと機械学習（ML）モデルの制御に失敗した場合、企業の評判に大きな影響を与えるという問題についても提起します。

将来、AIの暴走を防ぐため、私たちはどのように備えればよいのでしょうか？私たちがモデルの挙動を深く理解し、AIへの信頼を強化し、説明可能なAIプロジェクトを実践していく上で、Dataikuがどのように貢献できるかを見ていきましょう。

モデルのパフォーマンス

Klingが描く未来では、人々は職業、年齢、健康状態、創造性、IQ、EQなどの特性に基づいて1から100まで評価され、良い評価がなければ「無価値」になります。この評価に基づいて、モデルはその人に適した友人やパートナーを見つけます。しかし、本の主人公であるピーターは、AIの選択に満足していないようです。彼が好きだとされる友人たちと一緒にいるとき、彼は機嫌が悪くなり、恋愛では全く運がありません。モデルが適切に機能していないと考えるべきでしょうか、それともピーターのような特定のサンプルには適合しないモデルなのでしょうか？

モデルを使用可能なものにするためには、信頼性のあるデータを使用し、バイアスを除去し、適切なモデリング技術と検証セットを選択することが不可欠です。Dataikuは、回帰モデル・分類モデルに対して、多数のMLモデル評価指標を提供します。トレーニング終了後、混同行列、較正曲線 (calibration curve)、ROC曲線、その他パフォーマンス指標を見ることができます。さらに、モデルが部分集団（例：年齢層）全体で同一の挙動を示すかどうかを評価するため、部分集団分析を実行することもできます。これは、一つのグループに対する予測結果が他のグループに対する予測結果よりも優れていると、バイアスのある結果となり、運用時に意図しない結果をもたらす可能性があるからです。

Dataiku Visual ML：モデル解釈のための対話型レポート（特徴量の重要度、部分依存プロット、部分集団分析、個々の予測説明、モデルパフォーマンス）

このような指標は、特定のモデルに対して表示することもできますし、他の候補モデルと並べて主要な指標を比較したりすることもできます。AIを利用した最近のデートアプリや友達アプリは、すでに高度なアルゴリズムを使用してユーザーデータを分析・解釈し、成功するマッチメイキングの可能性を高めています。よりその人に合った相手を提案するためには、アルゴリズムが高パフォーマンスであり、かつ様々なグループの全てに適合していることが重要です。

モデルの監視

この書籍では、ピーターは金属プレスを運転しており、彼の役割は機能不全だったり明らかな不具合を持つロボットを破壊することです。大統領選に立候補したロボットのスローガン「機械は間違いを犯さない」に対して、ピーターは異なる事実を目の当たりにします（飛ぶことを恐れるドローン、PTSDを持つ戦闘ロボット・・）。このように、モデルは常に期待通りのパフォーマンスを発揮し、意図通りに私たちを助けてくれるわけではない（時には、私たちを傷つける可能性さえある）という懸念があります。実際、MLモデルが本番環境にデプロイされると、警告もなしに品質が急速に低下するということはよくあります。

データの変化に合わせて、継続的なモデルのパフォーマンス監視・評価が必要です。Dataikuの Model Evaluation Storeでは、データサイエンティストがモデルのパフォーマンスを継続的に監視し、入力データと予測結果のドリフトをチェックできます。選択した指標のステータスチェック（例えば、ROC AUCが許容範囲を下回った場合など）と自動化シナリオと組み合わせることで、データサイエンティストはモデルが適切に動作していることを確認でき、問題がある場合には適切な警告やエラーメッセージが発行されます。

Dataiku Visual ML：モデルの比較

QualityLandのロボットたちが常にレビューを求め続けることは（それを作者が意図したかどうかは別として）、決して瑣末な事項ではありません。なぜなら、適切なパフォーマンス維持のためには、適度なタイミングで新しいデータを用いてモデルを再トレーニングすることが不可欠だからです。

モデルの解釈

QualityLandでは、文明におけるAIの意味や人々がデータ分析・MLを採用する理由を見失うような曖昧な方向に向けて、AIの利用が進んでいきます。ある場面では、医師が両親に「子供が薬物中毒になる可能性が高い」と告げます。しかし彼は両親に状況を改善するための示唆を与えることができず、そのような結果が何に起因するのかも全く理解していません。

AIの開発・利用に対して、きちんと統制を効かせるためには、データ専門家がモデルの説明を確認し、さまざまな入力の組み合わせをテストし、予測結果への影響を検討するためのwhat-if分析が不可欠な部分となります。MLモデル自体は、我々がリスクを回避し、特定の結果を改善するのために役立つ素晴らしいツールです。Dataikuには、特徴量の重要度、部分依存プロット、個々の予測説明のためのインタラクティブなレポートが含まれており、データサイエンティストやビジネスユーザーに結果を説明するだけでなく、特徴量の1つが変更された場合に何が起こるかを理解するための力を与えてくれます。

強力なwhat-if分析により、技術ユーザーもビジネスの専門家も、様々な入力の組み合わせをテストし、予測結果への影響を確認できます。チームはシミュレーション機能を利用して、望ましいビジネス成果をもたらす変更を体系的に発見し、提言できます（これは、書籍に出てきた子供、両親、医師たちにとっても朗報でしょう！）。what-if分析のためのビジュアル画面を利用して、ビジネスユーザーは予測モデルを信頼し、モデルの動作を理解した上で実務に適用できます。

Dataikuはレコード単位で予測説明（ICEとSHAP）を生成し、予測結果の追加情報を提供します。これらの手法を組み合わせることで、データサイエンティストや利害関係者はモデルがどのように決定を行うかを説明し、モデルの予測に影響を与える要因を理解できます。

Dataiku Visual ML：対話型の what-if 分析

機械学習における人間的要素の維持

QualityLandでは、最も成功した大企業の完璧なアルゴリズムが、顧客が欲しいと思う前に商品を届けます。しかし、システムには不具合があり、ピーターが間違った商品（全然欲しいとは思っていなかった）を受け取ったとき、それを返品する手段を見つけるのに苦労します。カスタマーサービスは機械に委ねられており、問題を解決したり例外を処理したりする人間を見つけるのは不可能なようです。

デジタルマーケティング、ソーシャルメディア、政治といった現代の世界において、AIに対して人間が責任を持たない場合、どこに行き着くのかをKlingは鋭く言い当てています。機械が人間に取って代わると懸念する声も多いですが、それは必ずしも真実ではなく、またそうあってはならないことをここで強調しておきたいと思います。

AIはビジネスの専門家にとって強力なツールであり、より賢い決断を下し、より効率的に業務を遂行するための力を与えてくれます。しかし、モデルが意味を持ち、倫理的で我々の価値観に一致していることを保証するためには、人間の要素を維持することが不可欠です。ツールやソリューションによって強化された人間の知性のみがAIを制御し、私たちをQualityLand化から解放することができるのです。

可視化とコントロールの実践について

このEbookでは、AIへの取り組みリスクを軽減し、監視とAIガバナンスのベストプラクティスによって安全に取り組みを拡大するための有用な方法を説明しています。

原文：How Not to End Up in QualityLand and Keep Your AI Under Control