書類の記入漏れを簡単に確認したい！

こんにちは、やまな。です。
これまでさまざまなツールを駆使して、仕事を楽にするために色々なものを作ってきました。

前回は出勤場所を確認できるアプリを作ったので、よかったら読んでみてください。

さて、今回は提出された書類に不備がないか確認するために、AIを使ってみたいと思い挑戦しました。

現在、入社や退職、契約更新に必要な書類は、すべて本人が記入したものを人の目で確認をし、不備がないことを念入りに確認しています。
しかし、人の目だけでは限界もあり、さらに細かい項目が多い書類では、記入漏れを見逃してしまうこともあります。

そして何より、チェックする時間を短縮させたい！

そこで、最近覚えたＡＩの力を借りて、どうにか作業を軽減できないかと考え、作成を決意しました。

使用したツール

CodePen

※ここで使用している書類はすべてサンプルです。

まずは、AIに不備ありかなしか、また、どんな不備があるのかを覚えさせます。

TeachableMachineを開き、使ってみるをクリックします。
次に、今回は画像を使用するので、一番左の画像プロジェクトを選択し、標準のモデルをクリックします。

ここで精度を高めるために注意すること！

・サンプルは最低でも100枚は用意する！
・色々な角度のサンプルが必要
・動かしすぎるとぶれて内容がうまく映らないので、
静止画も用意するといいかも

トレーニングをしたら、プレビューでどのくらい正しく判断してくれるか試します。
それぞれの項目の隣のバーが動いて100％になれば成功です。

ここでもしうまくいかなくても大丈夫！
サンプルの画像が鮮明ではなく判断されていない可能性が高いので、
それぞれまたサンプルを追加していきます。
サンプルは多ければ多いほど良いので、追加しながらトレーニングを重ねてください。

完成したら、モデルを保存します。

プレビューの横にあるモデルをエクスポートするを押します。
モデルをアップロードをクリックすると、リンクが作成されます。

今後これを編集する予定がある場合は、Googleドライブに保存することをお勧めします。

実際に使ってみてもう少し追加したいことがあったり、精度を高めたいと思ったときに編集できるようになります。

次に、CodePenでアプリ化します。
私はまだまだ初心者なので、コードを自分で書くことができません。
そこで登場するのが、最近とても仲良しになった、ChatGPTです！
質問すればなんでも答えてくれて、どんなときにも力になってくれる味方です。

今回も簡単な質問をしてコードを書いてもらいました！

質問の内容に迷ったので、保存したモデルのURLをそのまま貼り付けて質問したら、しっかり答えてくれました。

しかし、やっぱり一度で上手くいくことはほとんどないので、調整が必要です。
今回私が行ったのは、Webカメラを使用するというコードが抜けていたため、その追加と、タイトルやURLの入力箇所の確認などです。
質問の方法によっても、返ってくる答えが違うので、上手にお話してみてください。

今回、画像認識でAIに機械学習をしてもらい、書類の不備を見つけるために挑戦しました。
実際に使ってみると、どうしても100％不備がある・なしを判断することは難しかったです。

細かい部分、特に性別の欄のような〇の付け忘れは画像をうまく認識させないと不備なしだと判断されてしまうことがありました。
今回サンプルで用意した書類は、すべてPCで入力したものですが、実際は手書きの書類も読み取る可能性があるので、
そのあたりも精度を上げる必要がありそうです。

・細かい記入箇所の読み取り方法の強化
・手書きでも判別できるように精度を上げる
・100％の精度にするには？

今後このような観点から、TeachableMachineでさらにパワーアップを目指すのか、他により適したものがあるのか調べながら実用化に向けて考えていこうと思います。