はじめに
NatureにてIlluminating the dark spaces of healthcare with ambient intelligenceという論文が出版されました。
スタンフォード大学より投稿されており、かの有名なLi Fei-Fei先生も共著に名を連ねられています。
なにより、題名がカッコいいですよね！
私の中では比喩的な表現を使っていたり、題名に疑問符があったり（問題を投げかける感じ）、自分の手法に独自の名前を付けている論文にはCoolさを感じます。
まぁそんな話は置いといて、論文を読んでいこうと思います！
注意
論文に沿った紹介・要約となりますので、米国での事例紹介がメインとなります。
また、本翻訳は2本立てです。
この記事では医療機関における事例を紹介し、次回の記事では生活空間での事例と技術的な問題、倫理面での問題についてまとめようと思います。
忙しい方へ TL;DR
図1: Ambient Intelligenceの例
- Ambient Intelligenceとは様々なセンサーを用いることで"空間自身に知能を持たせる"という考え方です。
- 近年、センサー類の高性能化・安価化やDeep learning技術の発展によってAmbient Intelligence普及が進んでいます。
- Ambient Intelligenceには非装着型（カメラ等）と装着型（ウェアラブルデバイス、ビーコン）があります。
- Ambient Intelligenceは、医療現場でのダークな部分を明るく照らします。
- ダークな部分
- めっちゃ過重労働
- 臨床的意思決定や身体的行動の見落とし・誤りによって患者が死亡
- 医療筆記作業にめっちゃ時間とられる
- 高齢者に対して常に介護を行ってしまうと日常生活での自立を促せない
- ダークな部分
- RGBカメラ and/or デプスカメラを用いて、患者の行動識別を行ったところいい感じでした。
- マイクを使ったスピーチtoテキストによって、医療筆記作業の時間を減らせました。
- プライバシー面で問題のある部分（シャワーやトイレ）は、マイクを使った音声情報のみでも行動識別できそうです。
- センサを使った転倒者検知を行うことで、常に介護者がそばに居る必要がなく、自立を促せそうです
- 適切なデータプライバシー、モデルの透明性のクオリティは保つ必要があります。
Ambient Intelligenceとは？
冒頭でも書きましたがAI技術・データサイエンスの発展によって、人間の意思決定を支援するシステムが広く普及するようになってきました。
また、センサ類も高性能化・低価格化が進み容易に生活空間への設置を行えるようになってきました。
"Ambient"とは「取り巻く・囲まれた」という意味を持っており、"Intelligence"とは「知性・知能」という意味を持っています。
そして"Ambient Intelligence"とは「環境知性」とか「知性を持った空間」という風に訳されます。
Ambient Intelligenceは生活や行動へ直接介入してくるというよりも、生活や行動からデータを蓄積・解析し、より良い生活・行動へ促すという意味合いが強いように感じます。
Ambient Intelligence自体は最近出てきた言葉というわけではなく、2000年代から広く使われているようです。
アンビエント・インテリジェンス(2005年4月の記事)
そういえば、ArduinoやESP32などのマイコンを使ってセンサーの値を可視化するのにAmbientというサービスがあるのを思い出しました。
自分は電子工作などといったセンサ類を使ったハードウェアの方が好きなのでAmbient Intelligenceは非常に自分の興味に沿った分野で、もっとこっち方面で色々やっていきたいと感じる次第です。
それでは、論文の方へ入っていきましょう！
イントロ
データサイエンスとAI技術の発展に伴って、医療における診断への正しい意思決定を支援するシステムが普及してきました。
例えば、CTやレントゲン等でスキャンされた画像に対して悪性の腫瘍を発見したり、異常の傾向を発見したりするシステムなどです。
しかし一方で、臨床医・患者・家族が行う身体的な行動への意思決定支援はほとんどなされておらず、病院や自宅などの物理的な空間で行われている活動については健康の促進に重要かどうかは不明瞭なままです。（ここでいう身体的な行動・活動には介護やリハビリテーションなどが含まれます。）
医療の進歩の恩恵を最大限に享受するためには、手頃な価格で人間中心のアプローチによってこれらのダークで不明瞭な部分を照らしてあげることによる支援が必要となってきます。
医療・介護現場のダークな部分
- あまりにも多忙な環境なため、臨床医の認知能力を常に鋭い状態に維持することが難しい
- 現代医療の急速な複雑化によって、多忙な環境にも関わらず常に情報のキャッチアップを行う必要がある
- その結果、米国では臨床的意思決定や身体的行動の見落とし・誤りによって患者が年間40万人以上死亡
- 医療筆記作業（カルテへの記入など）に労働時間の30％をとられてしまう
- 常に付きっきりで介護を行ってしまうと、高齢者の生活的自立が難しくなってしまう。
この論文の目的
このレビュー論文では
- 身体に装着することでデータを集めるウェアラブル機器（接触型）
- 非装着型で空間に設置することでデータを集めるセンサ（非接触型）
に焦点を当て、病院や日常生活空間という健康に重要な要因を与える2つの環境のダークな部分をどのように照らすことができるかを探っていきます。
具体的な事例の紹介
まずは図を見てみましょう。
- RGBカメラ
- デプスセンサー（デプスカメラ）
- サーマルカメラ
- 無線センサ（WiFiやレーダーなど）
- 音センサー
が挙げられます。これらを使うことによってAmbient Intelligenceを実現することが可能となります。
例えば、RGBカメラを用いれば物体・人検出、姿勢推定なんかが可能です。またそこから行動識別へと発展することも可能です。
今年に限ればCOVID-19の広がりからサーマルカメラなんかは一気に有名になったんじゃないでしょうか？
サーマルと顔検出を用いれば、体温から高熱者を検出することが可能となります（医療用途の精度がでるものは少ないですが）。
無線センサはあまり馴染みがないかもしれませんが、今年のHCI（Human Computer Interaction）系学会でWiFiの信号強度を用いた三次元姿勢推定手法が提案されていました。
病院における事例
- 2018年には、米国人口の約7.2%が1日以上の入院を経験した
- 英国では国民保険サービス（NHS）より1700万件の入院が報告されている
- 医療従事者は頻繁に過重労働な状態で、なおかつ人員不足でリソースが限られている
ということが報告されています。そこで、Ambient Intelligenceが医療の質向上、臨床医の生産性の向上、業務の改善にどのように重要な役割を果たすのかを紹介していきます。
医療機関におけるAmbient Intelligence（引用元：論文Fig.2）
Intensive care units (集中治療室)での事例
Intensive care units（ICU）は生命を脅かす病気や重篤な臓器障害を持つ患者の治療を行う病院の施設の一種です。
米国では、ICUにかかる医療費は年間1080億USドル、全ての病院の13％に相当します。
患者の行動をモニタリング
重症患者がICU入室後に急性の四肢筋力低下を発症することが知られており、これはICU-acquired weaknessと呼ばれています。
参考：ICU-AWってなに？
この症状になると、1年間の死亡率が2倍に増加し、病院の費用が30％増加する可能性があることが報告されております。
そこで、早期に（ICUからの）離床を促すことによってICU後遺症の相対的な発生率を40％現象させることができる可能性があることも報告されております。現在のところ、標準的な離床評価は直接対面での観察によるものとなっておりますが、コスト・観察者のバイアス・ヒューマンエラーなどの問題があり、その使用は制限されています。適切な評価を行うには、患者の動きの微妙な変化に対する理解が必要です。
ここで、Ambient Intelligenceの登場です。
Measuring Patient Mobility in the ICU Using a Novel Noninvasive Sensor
例えば腕や足などに装着するタイプのウェアラブル機器を用いることで動作の検出を行うことが可能です。ただし、ウェアラブル機器のみでは外部からの支援や物理的空間との相互作用（例えば、椅子に座っている状態とベッドに座っている状態の違いなど）を検出することはできません。そこで、非接触型のセンサを用いることで、患者の離床可能性を正確に測定するために必要な継続的で微妙な変化を提供することが可能となります。
A computer vision system for deep learning-based detection of patient mobilization activities in the ICU
こちらの研究チームでは、ICUの1室にKinectを設置し8人の患者から362時間分のデータを収集し、そのデータを用いて機械学習アルゴリズムを学習し、行動識別を行ないました。その結果、3人の医師によるチェックと比較してベッド内・ベッド外・歩行といった活動を87％の精度で分類することができました。
これらの結果は非常に有望ではありますが個別の短い動画を集計したものを評価するだけではなく、より洞察力のある評価（何の動作が何の症状に影響を与えているのかなど）を行うことで階層化された結果が得られるだろうとLi先生は述べております。
Intelligent ICU for Autonomous Patient Monitoring Using Pervasive Sensing and Deep Learning
例えば、この研究チームでは患者のせん妄について調べるためにカメラ、マイク、加速度計を用いて、ICU内の患者22人に対して7日間の観察を行いました。
その結果、せん妄を起こした患者の頭の動きは、せん妄を起こしていない患者に比べて有意に少ないことがわかりました。
今後の研究ではこの技術を活用してせん妄を早期に発見し、患者のモビリゼーションが死亡率、滞在期間、回復にどのように影響するかを研究者に深く理解してもらうことができます。
院内感染の管理
世界中で毎年1億人以上の患者が院内感染の影響を受けており、ICUの患者の最大30％が院内感染を経験しています。手指衛生プロトコルのコンプライアンスは、院内感染の頻度を減らすたもの最も効果的な方法の1つです。
しかし、コンプライアンスを測定する手法は依然としてチャレンジングであります。
例えば、RFID（Suicaやユニクロのタグなどに使われている無線技術）のようなウェアラブルデバイスを活用する手法があります。この手洗いが必要な現場に接近したことを検知することができ、その回数を大まかに推定することができます。
しかし、WHOが提唱する「Five moments of hand hygiene（手洗いが必要となる5つの行動）」のような細かい動作を識別することはできません。そこで、Ambient sensorを使うことによってより高い信頼性で手洗い活動をモニターすることができ、アルコールディスペンサーの真の使用状況を計測することができます。
Towards vision-based smart hospitals: a system for tracking and monitoring hand hygiene compliance
Automatic detection of hand hygiene using computer vision technology
例えば、ディスペンサーの上にデプスセンサーをを設置し、深層学習アルゴリズムを用いて手洗いコンプライアンスを計測する研究が行われました。この研究では1時間の間に351回の手洗いコンプライアンスを75％の精度で計測することができました。ちなみに同じ時間における人間による観察での精度は63％、RFIDでの精度はわずか18％でした。
患者の転帰を向上させるためにも、Ambient Intelligenceでの「観察」から「臨床的行動への転換」が次の重要なステップであるとLi先生はまとめられております。
手術室での事例
手術スキルの評価
世界では年間2億3000万件以上の手術が行われており、患者の最大14％が不運な事象を経験しております。不運な事象については、技術のコーチングを頻繁に行うなど、迅速な手術のフィードバックによって減少させることができ、エラー数を50％減らすことができます。ただしその評価は同僚や監督者によって行われるため、時間がかかり、頻度もそれほどとれるわけでもなく、更に（監督者の）主観性を伴います。
ウェアラブルセンサーを用いることによってスキルの推定を行うこともできますが、装着することによる手の器用性を阻害したり、複雑な滅菌のプロセスを導入する必要性が生じます。そこで、Ambient Cameraを用いることは一つの代替策となります。
Surgeon Technical skill assessment using computer vision based analysis
この研究では、畳み込みニューラルネットワークを訓練して前立腺切除術中におけるニードルドライバーを追跡し、Peer-Evaluationを基準に高スキル群と低スキル群に分類された12人の外科医の分類推定を行いました。その結果、ニードルドライバーの動きから92％の精度で高スキル群と低スキル群の分類を達成することができました。
ビデオベースの手術段階認識などは、手術トレーニングの改善につながる可能性はありますが、さらなる臨床的検証が必要であり、適切なフィードバックメカニズムを検証しなければならないとLi先生は述べられております。
使用器具のカウント
また、手術室でのAmbient Intelligenceの適用は内視鏡映像に限定されません。他の例として、使用済みの器具をカウントするプロセスである"Surgical count"が存在します。現在、これらの対象物を視覚的に、また口頭でカウントするためには専用のスタッフの時間と労力が必要とされています。この時、注意力の欠如やコミュニケーションが不十分な場合に誤ってラベル付けを行ってしまう可能性があります。そこで、自動化された計測システムを導入することでチームを支援することができる可能性があります。
Using a Data-Matrix–Coded Sponge Counting System Across a Surgical Practice: Impact After 18 Months
Effectiveness of a Radiofrequency Detection System as an Adjunct to Manual Counting Protocols for Tracking Surgical Sponges: A Prospective Trial of 2,285 Patients
この研究では、バーコードを付与した開腹手術用スポンジを使用することでRetained object(手術器具を患部から取り出し忘れる) rateが16日に1回の割合（！）から69日に1回の割合まで減少したことを報告しています。
また、RFIDやレイテック製のスポンジを使うことによっても同様の結果が得られております。
しかし、バーコードやRFIDのサイズの関係上針や器具には適用できず、これらはカウントの不一致における原因の最大55％にもなっています。そこで、Ambient Cameraを用いることでこれらの小さな物体やスタッフをカウントできる可能性があります。
A multi-view RGB-D approach for human pose estimation in operating rooms
First-year Analysis of the Operating Room Black Box Study
こちらの研究では手術室内の天井に設置されたカメラを使用して、手術チームメンバーの体の一部を追跡したところ約5cmの誤差で追跡を行うことができました。また、部屋全体で収集された周囲のデータから手術中の活動の詳細なログを作成することができました。
これらの研究は概念実証（PoC）としては有望ではありますが、患者の転帰、医療費の払い戻し、効率向上への影響を定量化するには更なる研究が必要であるとLi先生はまとめられております。
その他の事例
医療文書作成
臨床医は医療文書作成作業に最大35％の時間を費やしており、患者から貴重な時間を奪っています。現在、医師は各患者の診察中または診察後に文書の作成を行っております。この負担を軽減するために、医療向けの書記官を雇っている方もおり、その結果1時間あたりの受診患者数が0.17人増加し、患者1人当たりの相対価値単位が0.21人増加（つまり、保険者からの償還額が0.21人増加）しています。しかし、書記官になるためのトレーニングは費用がかかり、離職率が高いのも現実です。
そこで、Ambient microphoneは医療向け書記官と同様の仕事を行える可能性があります。
Speech recognition for medical conversations
こちらの研究では、14000時間分の患者と医師の間の9万件の会話を深層学習モデルとして訓練しました。このモデルは単語レベルの転写精度が80％であることを示しており、医療書記官による精度である76％よりも優れている可能性が示唆されています。
How Google Glass Automates Patient Documentation For Dignity Health
臨床的有用性という点では、ある医療機関ではGoogle glassを用いること（眼鏡にマイクが着いている）で文書化に費やす時間が2時間から15分（！）に短縮され、患者との会話に費やす時間が2倍になったという結果が報告されております。
経営
Using Time-Driven Activity-Based Costing to Identify Value Improvement Opportunities in Healthcare
経営の観点からは、Ambient Intelligenceは医療活動をベースとした原価計算への移行を改善することができます。従来、保険会社や病院の経営者は価値ベースの会計（ある医療行為に対して〜ドル）というトップダウン型のアプローチで1USドルあたりの医療成果を推定していました。時間駆動形の医療活動ベースによる原価計算はボトムアップ型の代替案であり、ここのリソースの時間とコスト（例えば、ICUの人工呼吸器を48時間使用した場合など）で価値を計算することができます。これにより、以下の例のようなプロセスの再設計に役立つ情報を得ることができます。
Measuring the value of process improvement initiatives in a preoperative assessment center using time-driven activity-based costing
こちらの例では、患者の転帰を悪化させることなく、従業員を17％削減して、患者の訪問回数を19％増加させました。
現在、臨床活動とコストのマッピングには対面観察、スタッフによる問診、電子カルテが使用されております。更に、本論文で紹介したAmbient Intelligenceは臨床活動の自動認識、医療従事者数のカウント、活動時間の推定をすることができます。
しかし、活動ベースの原価計算パラダイムは病院スタッフにとって未知のもので、それらを裏付けるAmbient Intelligenceの臨床的な利点を示すエビデンスは未だ不足しています。今後の技術発展に伴い、病院経営者がAmbient Activityベースの原価計算システム導入と検証に参加することが期待されます。
続き
かなり長くなってしまったので、続きは別の記事で書く予定です。
Ambient Intelligence、医療での応用はもちろん、他分野での応用も非常に期待されますね。
例えば、カメラ・デプスセンサーを用いた行動認識からの行動ログ収集は製造業で働く方への管理等への応用もできそうです。
次回記事では生活空間でのAmbient Intelligenceの応用、技術的問題点、倫理的問題点について訳していきます。