命に関わる職種での生成AIの活用事例

現状の生成AIは、コードの検証や動作確認を行いません。
開発工程中で言えば、コーディングの一部だけしか行いません。

そのままでは使えないコードは、昔からいくらでもあります。
サンプルコード、新人が書いたコード、ネットで見つけたコード、etc...

AIが吐き出したコードもそのままでは使えないコードです。
どのように扱うのかは、AIだからといって特別なことは必要ありません。
プロセスに則って、使えるコードに仕上げるだけです。

生成AI(主にコーディングエージェント)などを活用するにあたって・・・
このような命に直結す業界での生成AIの活用に関する皆様のご意見等をお聞きしたく。

命にまで関わるようなことは無くても、バグでインフラが止まったり、ロケットが落ちたり、銀行のシステムがダウンしたりと、重大なアクシデントとなることはあるということで、全ては同じことだと思いますよ。

AI を活用しての開発について基本的なこととして心に留めておくべきはことは、少なくとも現時点では AI に丸投げして完璧なコードができることはないということです。さらに、今後 AI がどのように進化しようと、AI が作った成果物に対して、AI が責任を負ってくれるいうことはあり得ないということも。責任を負うのはあなたとあなたが属する組織です。

ということで、AI にはペアプログラマーとしての役割を担ってもらい、力を合わせて開発を加速するという考え方を基本として、どのようにしたら効果的に AI に支援させられるかということを質問者さんが考えながら、「指示」⇒「応答」⇒「検証」⇒「改良」のループを回して開発を行い、成果物を完成させるという方向で考えるべきと思います。

AI にコードを作ってもらう場合、AI が作ったコードはたたき台として形にしたものだとの認識を持って、そのたたき台をレビューし、理解し、検証し、最終成果物に対して、質問者さんが当事者意識を持った主体的な責任を持てるようにするという基本姿勢が重要だと思います。

質問者さんには、AI に的確な指示を出せること、AI のアウトプットが期待通りかを検証できる高度な知識が必要です。それができない場合は AI を使うべきではないかも。そのあたりは大丈夫でしょうか？

医療分野の生成AI活用例として、医療文書作成支援があります。既に複数のサービスが提供されています。あくまで作成支援であり、生成AIが原稿を作成しますが、最終確認は医師が行います。

この領域ではカルテ（診療録）よりも退院サマリーの作成が普及しています。カルテは患者との対話や検査結果から診断という高度な推論を伴うタスクです。ハルシネーションがそのまま誤診の危険に直結します。

これに対して退院サマリーは、入院から退院までの既に確定し、入力されている時系列データをインプットとする要約タスクです。揺れは起きにくいものです。

アメリカでは既に一部の州でAIによる処方箋の発行が可能となっています。
Doctronicに症状を相談すると処方箋が発行される仕組みです。
当初は医師が処方箋が妥当かをチェックするそうですが、その後は自動化される見込みです。

もちろんさっそくインジェクションされまして、何重もの防護柵にもかかわらずオキシコドンを基準量の3倍出したり、引きこもりの治療にメタンフェタミンを出したりと楽しいことになっています。

まあ要するに、現在のAIと自称しているものは全て低性能過ぎて医療には向いてないってことです。
せめてHMX-12やR-01 FR001-MKII程度の性能になってからAIを名乗ってほしい。