絶対ミスできない業務はAIの力を借りたい！
こんにちは。
金融業界でお仕事をしています、tomonaといいます。
高校野球と乃木坂46をこよなく愛する社会人です。
私は前述の通り、金融業界でお仕事をしているのですが、
業界の特性もあってか各省庁から出ている、規定が本当に多い・・。
守らないといけない規定のひとつに、
「確認を行い、その記録正確に残すこと」 という、
確認印が必須なものがあるのですが、
人の作業なのでどうしても確認印が漏れてしまうことがあります。
とは言え、規定なので漏れは許されない！！
そこで、書類の印鑑押印確認にAIの力を借りようと、
Teachable MachineとTM2Scratchを使用して作成してみました。
完成したもの
╭━━━━━━━━━━━━╮
— tomona (@tomona_co) November 21, 2023
確認業務AIに任せません？ #protoout
╰━ｖ━━━━━━━━━━╯ pic.twitter.com/2YW4GukOZW
Scratchの全体像
Scratch上でカメラに書類を見せると状態を確認して、
以下のいずれかの回答をしてくれます。
- 印鑑漏れのない書類：問題なしと表示
- 印鑑漏れのある書類：やり直しと表示
- 書類ないとき：チェック表を見せてねと表示
利用した技術・素材
-
Scratch3.0 (TM2Scratchという拡張機能を使用)
-
ChatGPT (補助ツールとして利用)
詳細説明はこちら
- Teachable Machine
- Googleが提供する機械学習のWebツール
- 取り扱えるのは音声、画像、ポーズ（ジェスチャー）の3種類
- TM2Scratch
- Teachable Machineで作成した機械学習モデルをScratch3で利用できるようにした拡張機能
- ChatGPT
- OpenAIが2022年11月に公開した人工知能チャットボット。
作り方
作業①Teachable Machineで機械学習モデルを作成
Teachable Machineは既に多くの人が手順記事を記載していますが
もし詳細説明が必要な場合は
以下の「機械学習モデルの作成はこちら」から確認してください。
機械学習モデルの作成はこちら
まず、こちらからTeachable Machineのサイトに進みます。
1.「使ってみる」ボタンを押下します。
Teachable Machineは登録なしですぐに利用可能です。
2.今回は「画像プロジェクト」を選択します。
3.「標準の画像モデル」を選択します。
4.ウェブカメラあるいはアップロードボタンを押下して、学習させたい画像の読み込みを行います。
5.画像の読み込みが完了したら「モデルをトレーニングする」ボタンを押下します。
※学習させる画像は多ければ多いほど精度が向上します。
6.トレーニングが完了後、プレビュー画面から機械学習の判別精度を確認をすることが出来ます。
精度に問題がない場合は「モデルをエクスポートする」ボタンを押下します。
7.「モデルをアップロード」ボタンを押下します。
8.モデルのアップロードが完了すると、共有可能なリンクにURLが表示されます。
URLのコピーをしてください。
作業②機械学習モデルを読み込みプログラミング
1.まず、こちらからScratchのサイトに進みます。
Scratchのページが開いたら赤枠のボタンを押下します。
2.Teachable Machineと連携する拡張機能（TM2Scratch）を選択します。
3.Teachable Machineと連携できるブロックが表示されます。
4.TM2Scratchのブロックが表示後、「画像分類モデルURL」を選択し
Teachable Machineで作成した共有可能なモデルのリンク
（Teachable Machineで最後にコピーしたURL）を貼り付けます。
5.共有可能なモデルのリンクを貼り付け後、
「画像分類モデルURL」を押下すると黄色の枠に囲まれて読み込みが開始されます。
6.利用可能なリンクの読み込みが完了すると、以下のようにブロックが使用可能になります。
7.その後、ブロックを組み合わせて実施したいプログラムを作成します。
ここでは以下のようにプログラムして完成させました。
- OKパターンを受け取ったときの設定:「問題なし」と表示
- NGパターンを受け取ったときの設定:「やり直し」と表示
- NGパターン2を受け取ったときの設定:「チェック表をみせてね」と表示
参考資料
ChatGPTから情報収集したものの・・
今回、機会があって新しく学んだTeachable Machine！
ただTeachable Machineを使うだけでなく、
この機能を最大限活用して何か作りたい！と思いました。
とはいえ、活用方法がわからない・・。
そうだ！と思って、初めてChatGPTを使ってみることにしました。
正直、ChatGPTがこんなに便利なことを知らなかったです！びっくりしました！
でも、それよりもChatGPTを使ってみよう！という考えを
私自身が持ったことに一番驚きました。
今までだったら、「私はまだいいや～」と思っていたはずなんです。
ChatGPTは私にTeachable Machineの基本機能から相性の良いツール、
有効活用の方法まで、たくさんのことを教えてくれました。
こんなかんじ
ただ、
ChatGPTを使って色々な情報が収集できたとしても、
プログラミングなどのスキル不足の私にはハードルが高く、
理想通りにはいかず・・まだまだ勉強が必要だなと思いました。
今回の振り返り
正直なところ、今回作った機能を使って、
本当に書類の押印確認ができるかって言われるとまだまだです・・。
実用的でない・・。
想定通りにいかないの本当に悔しいです・・。
もし、実用的にするには、
都度都度カメラ認識でなく、データを読み込んで確認するようにしたり、
NGだった場合は、指定の宛先にメールで通知するなどといった機能が必要かなと思います。
まだまだ改良の余地がありそうです。
とはいえ、今回Teachable Machineの機械学習に挑戦して、
OKパターンとNGパターン以外に、
何も表示されていないというパターン（今回でいうNGパターン2）
を作るのは大事だと思いました。
人間だったら、
「表示されるものがなければ判別するに値しない」と考えるけど
機械（AI）の場合は、人間の当たり前も含め、
全て教えてあげないといけないんだな～と。
頭の柔軟さが求められるな～なんて思ってしまいました。
前回の記事でも記載したかもしれないけど、
やっぱり新しいことを学ぶのはとても楽しいなと改めて感じました。
前回の改良版もまだ全然できていないけど、
忘れないうちに再挑戦しようと思います！！
ここまで見てくださってありがとうございました。
改良版作成のために使ってもらった（11/27追記）
より実用性を持たせるにはまず使ってもらおう！と思い、
同僚に使ってもらったら有益なアドバイスをもらえたので忘れずに記載しようと思います。
その① 大量に判別できる方法を考える
もし、押印漏れを確認するのであれば人の目で見るより
早く、かつ大量に確認できるようにすべき、ということ。
今の仕組みだと、1枚1枚カメラに向けて見せないといけなくて、
でも1枚ずつやるのであれば、その際に見ることはできるから、実用度がとても低い。
前述のとおり私が認識していた、
PDFやスキャンデータを読み込んで判断させるような形にすること
というのはやはり今後の課題になりそうでした。
その② 押印確認のその後を考える
押印確認をして、その後どうしたいのか、
どうすべきなのかが見えてこない、
押印漏れがあったらなにかアクションが必要なんじゃないか、ということ。
今の仕組みは、OKかNGか判断させるにとどまります。
でも実用化させるのであれば、
OKだった場合のアクションや、NGだった場合のアクションが必要になるはず。
これも前述の通り、NGだった場合はメール通知などが必要であることは
認識していましたが、指摘されたことで改めて課題であると感じました。
また、今回のような、押印漏れが許されない業務なのであれば
さらに深堀りして、押印漏れを起こしたのは誰か、なぜ押印漏れが発生したのかを
分析ができるように結果を残しておくことも追加で必要かもしれません。
その③ もっと効果のある利用方法を考える
押印漏れの確認だけに固執しない方が良いのでは、ということ。
今回押印漏れという、判断の難易度は低い・・・言ってしまえば
誰でも判別可能なものを機械(Teachable Machine)に判別させるものを作りました。
判断の難易度が低い分、
実用化させるには量やスピードで人間を上回る必要があります。
一方、判断の難易度が高いもの・・・例えば、「○○さんしか分からない」とか、
「この言語は分かる人が限られている」などといった確認業務があれば、
それをパターン化させることで、業務改善ができるかもね、と言われました。
判断の難易度ももちろんですが、
確認のために書類を郵送しているなどといったことがあれば、
それを機械(Teachable Machine)で判別することもできそう、とも思いました。
活用方法を限定させず、もっと柔軟に考えようと思いました。
作りはじめはそのつもりだったのですが、
段々使うことにスポットを当ててしまうのは私の悪い癖かもしれません・・・。
気を付けなければ・・・。
AIの力だけでなく、仲間の力も借りる
思ったよりたくさんアドバイスがもらえてとても良かったです。
こんなことなら、もっと早く見てもらえればよかった、と思ったくらい。
もらったアドバイスをもとに改良版を作らなければ、、！と思いました。
頑張ります！
改めて、ここまで見てくださってありがとうございました。