[Unity]カメラ画像からオブジェクトの色を単位面積あたりで取得したい

解決したいこと

初心者です。
Unityのカメラ画像からオブジェクトの色などの情報を取得したいと考えているのですが、以下の画像のような処理はUnityで可能でしょうか？文章で書くと、画像内のオブジェクトを一定の幅で分けて、それぞれで一番低い明度（影があるかを判定したい）を取得する処理を行いたいです。色々調べてもUnityで画像を認識する方法がいまいち分からず…opencvなどを使えばできるものでしょうか？
理想は下の画像のようにしたいです。
よろしくお願いいたします。

自分で試したこと

現時点ではオブジェクトを細かいメッシュに分けてメッシュ頂点からrayをライト方向に飛ばし、判定結果を列ごとにリストに入れるいう形をとっているのですが、オブジェクトを増やしたときに処理が非常に重くなるのが課題でどうにか改善できないかと考えています。