はじめに
こんにちは。 @dcm_yamaya です。
この記事は、NTTドコモ R&D Advent Calendar 2021 22日目の記事です。
なんとことしはカレンダーが2つあります！ぜひカレンダー1ものぞいてみてください！
筆者は普段の業務では、画像認識やエッジコンピューティングの技術領域を担当しています。
アドベントカレンダーも3年目でして過去記事も（ちょっと情報が古いかもしれませんが）ぜひ。
ことしは農業AIに関する技術を紹介したいと思います。世の中的にはアグリテックとも呼ばれている分野になりますかね。
農業AIに関する取り組みもいくつかあるのですが、今回は私が画像認識技術を開発している農業向けのドローンの活用について書いていきます。
ドローンを活用した雑草管理の効率化
北海道の酪農・畜産業では、品質のよい牧草生産のために重要な雑草管理の課題があります。非常に広大な敷地の中で雑草がどの位置にどのくらい繁茂しているのかを人が巡回して確認していますが、人手不足が深刻化する中で十分な時間が取れないという社会課題があります。
この課題に対し、ドローンと画像認識技術を活用することでより効率的な牧草生産に貢献できないかと考え、ドローン画像に対する画像認識技術を開発しています。
これにより、今まで人手で行っていた巡回や、実際の雑草を駆除するための除草剤散布の作業を大幅に省力化し、効率的な牧草生産が可能になることで、深刻な人手不足や就業者の労働負荷などの社会課題解決につながってほしいと考えています。
以降で、画像認識技術や開発中のシステムを紹介したいと思います。
ドローンシステムと使い方
まず最初に、実際にドローンを飛ばすためのシステムからご紹介します。最近では除草剤をタンクに積んで散布することができるドローンも登場しており、これを活用した雑草のピンポイント散布を実現するシステムを作っています。以下の図のように2ステップからなっています。
STEP1: 画像認識によるセンシング
ステップ1として、まずはドローンによる画像撮影とその画像に対する画像認識を実施します。
ドローンの自動飛行と撮影のシステムを開発しており、これにより牧草地の画像を撮影します。撮影する位置は飛行前にシステム内で指定しその通りに自動飛行するためユーザーはドローンの操縦をする必要はありません。
撮影した画像を画像認識プラットフォームへ与えると画像認識処理が実行され、牧草地内の雑草の位置を特定します。上記資料でピンクの枠で weed 1.00 と表示しているのがエゾノギシギシと呼ばれる雑草になります。
これを牧草地の画像全体に対して実行し、牧草地全体のセンシング、すなわち雑草の分布状況がシステムから把握できるようになります。
STEP2: 除草剤散布のアクチュエーション
次にステップ2として、画像認識により特定した雑草位置に対して除草剤散布ドローンを飛ばし、雑草がある位置にのみピンポイントで除草剤を散布していきます。
除草剤散布ドローンについても、飛行はもちろん散布も自動で実行するためユーザーの操作は不要です。そのため飛行している様子を監視するだけでOKです。
以上がドローンを活用した牧草管理の仕組みとなります。
ドローン x 画像認識技術
このセクションではステップ1の画像認識について触れたいと思います。
実際にドローン画像に対して画像認識を実行した結果の例が以下です。
画像認識技術のうち、物体検出と呼ばれるモデルを学習してエゾノギシギシの位置を特定しています。
学習と推論の処理
モデルの学習においては、ドローン画像は5Kサイズなのでそのまま学習させると画像が潰れてしまいうまく学習できません。
そのためこの例では横9x縦6のグリッドに画像を分割し、グリッド画像として学習を実施しています。
牧草と見比べたエゾノギシギシは色がほぼ同じ緑で、葉の形状特徴しかないため認識が難しいところが初期の学習では見られましたが、オーグメンテーションと呼ばれる画像処理生成したデータを含めるなどの工夫により精度があがってきました。
引き続きモデルの改良やデータの工夫を実施しており、グリッドにまたがる雑草を統合する部分もできあがっています。
もちろん学習するにあたりアノテーションと呼ばれる正解データの作成が非常に重要で、ここは人手をかけて実施をしました。
学習モデルによる推論（認識処理）においては、グリッドごとに特に雑草の多い場所を赤の透過、少し多い場所を青の透過で示すことで草地品質の可視化を実現しました。これによって赤い場所のみ、または赤と青両方の位置にのみ除草剤散布ドローンが除草剤散布をすることでピンポイント除草を実現します。
ドローンの撮影の高さはおよそ25mで撮影することが多いです。
- できるだけ上空の高高度で撮影して、1枚の画像で広く捉えたい
- しかし、高すぎると画像認識が難しくなる
- 除草剤散布の幅も考慮する必要がある
という3点をあわせて決定しました。
画像認識をもとにした除草剤散布
こうした画像認識の結果を用いて、ステップ2として行う除草剤散布の様子が上の写真です。
駆除したい雑草に対して実際に散布したあと2週間後の様子を確認すると、十分な散布効果が見られました。
おわりに
牧草地の雑草管理にドローンを応用する取り組みについて、今回ご紹介しました。
今後は画像認識の精度向上などに引き続き取り組み、農家さんにより便利に使ってもらえるように取り組んでいきたいと考えています。