はじめに
サーマルカメラとしては、取得した温度データをヒートマップにしたいのです。
MH ソフトウェア&サービスでは、Raspberry Piを使用して実現したいので、温度データ -> ヒートマップ変換は、4種類ほど作成してみました。(高速化が必要だったのです。)
使用機材
サーマルカメラ(サーモ AI デバイス TiD) Python AMG8833 番外編で使用したwebカメラとPanasonic AMG8833、Raspberry Piを使用して取得した温度データを使用してみます。
テスト用にwebカメラのレンズ付近に、Panasonic AMG8833を取り付けているだけの簡素な仕様です。
温度データは
この動画の一部の、指を開いている個所の温度データです。回転処理をしていませんので、ヒートマップの画像は180度回転しています。
メインクラス(HeatMap)
このクラスからversion1.py ～ version4.pyを開きます。
それぞれ10回の処理を実行して、処理速度を比較します。処理はRaspberry Pi 4を使用しています。
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import numpy as np
import PIL
import PIL.Image
import PIL.ImageTk
import time
import cv2
from version1 import Version1
from version2 import Version2
from version3 import Version3
from version4 import Version4
class HeatMap():
def __init__(self):
self.heat_map = [
None,
Version1(),
Version2(),
Version3(),
Version4()
]
def __call__(self):
img = None
timer = ProcessingTime()
# Version1から4まで処理速度を比較してみます
for version in range(1, 5):
# 計測タイマリセット
timer.get()
# 処理回数は10回です
for _ in range(10):
img = self.heat_map[version](self.parameters)
message = f'Version{version} {timer.get():.02f}[msec]'
print(message)
img = resize(img, self.parameters.size, self.parameters.size)
cv2.imshow(message, img)
cv2.waitKey(5000)
while True:
pass
class parameters():
gain = 10
max = 40
min = 20
offset_x = 0.2
offset_green = 0.6
pixels = 8 * 8
size = 320
class ProcessingTime():
"""
Return processing time [msec].
"""
def __init__(self):
self._start = time.time()
def get(self) -> float:
result = (time.time() - self._start) * 1000
self._start = time.time()
return result
def resize(image: np.ndarray, width: int, height: int) -> np.ndarray:
result = cv2.resize(image, (width, height), cv2.INTER_CUBIC)
return result
if __name__ == '__main__':
heat_map = HeatMap()
heat_map()
Version1クラス
webからサンプルを取得して作成したクラスです。ごめんなさい。引用元が不明になってしまいました。
処理時間: 3,907[msec]
ヒートマップは、指だな?と感じられます。
for文を多用しているせいか、これ以上の高速化は望めませんでした。色のブレンドはカッコ良いと思います。元ソースに感謝です。
version1.py
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import math
from colour import Color
import numpy as np
from scipy.interpolate import griddata
from temp_data import temp_data
class Version1():
# クラスにする必要は無いと思います
def __call__(self, parameters: dict) -> np.array:
color_depth = 1024
pixels = temp_data()
pixels = [
map_value(
p, parameters.min, parameters.max, 0, color_depth - 1)
for p in pixels]
sqrt = int(parameters.pixels ** 0.5)
points = [(
math.floor(ix / sqrt),
(ix % sqrt)) for ix in range(0, sqrt * sqrt)]
grid_x, grid_y = np.mgrid[
0: (sqrt - 1): 32j,
0: (sqrt - 1): 32j]
bicubic = griddata(
points,
pixels,
(grid_x, grid_y),
method='cubic')
low = Color('darkblue')
high = Color('red')
colors = list(low.range_to(high, color_depth))
img = [[[255] * 3] * bicubic.shape[0]] * bicubic.shape[1]
img = np.asarray(img)
# やはりfor文を使うと時間がかかります
for ix, row in enumerate(bicubic):
for jx, pixel in enumerate(row):
rgb = colors[
constrain(
int(pixel),
0,
color_depth- 1
)].rgb
img[ix, jx, 0] = rgb[2] * 255
img[ix, jx, 1] = rgb[1] * 255
img[ix, jx, 2] = rgb[0] * 255
img = img.astype('uint8')
return img
def constrain(val: int, min_val: int, max_val: int) -> int:
return min(max_val, max(min_val, val))
def map_value(x: int, in_min: int, in_max: int,
out_min: int, out_max: int) -> float:
result = 0
try:
result = (x - in_min) * (out_max - out_min) / (in_max - in_min) + out_min
except:
pass
return result
if __name__ == '__main__':
pass
Version2クラス
Version1クラスで、高速化が望めず、それならばnumpyで処理!と意気込んで作成したクラスです。
処理時間: 25[msec]
ヒートマップは、なんとか指だな?と感じられます。
黄色が足らない・・・。と感じます。ほぼ、青と赤ですね・・・。
数値と色変換が甘く、赤成分と青成分のみ演算しています。
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import numpy as np
from temp_data import temp_data
class Version2():
# クラスにする必要は無いと思います
def __call__(self, parameters: dict) -> np.array:
sqrt = int(parameters.pixels ** 0.5)
img = np.zeros((sqrt, sqrt, 3), dtype='uint8')
pitch = (parameters.max - parameters.min) / 255
for x in range(sqrt):
for y in range(sqrt):
temp = temp_data()[x * 8 + y]
img[x, y, 2] = (temp - parameters.min) / pitch
img[x, y, 0] = (parameters.max - temp) / pitch
return img
if __name__ == '__main__':
pass
Version3クラス
処理時間: 3[msec]
もはや、何が表示されているかわかりません。
緑成分を入れようと作成を始めたのですが、温度から緑ってどうするんだろう?と悩んだ結果です。
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import numpy as np
from temp_data import temp_data
class Version3():
# クラスにする必要は無いと思います
def __call__(self, parameters: dict) -> np.array:
temp = np.array(temp_data())
temp *= 1.5
temp = temp.reshape(8, 8)
blue = temp - parameters.min
green = 0
red = parameters.max - temp
sqrt = int(parameters.pixels ** 0.5)
img = np.zeros((sqrt, sqrt, 3), dtype='uint8')
pitch = (parameters.max - parameters.min) / 255
img[:, :, 0] = 255 - blue / pitch
img[:, :, 1] = green
img[:, :, 2] = 255 - red / pitch
return img
if __name__ == '__main__':
pass
Version4クラス
処理時間: 10[msec]
ヒートマップは、指だな?と感じられます。
webでいろいろ情報を集めたところ、シグモイド関数を使うと、良いらしいことが分かりました。
画像データをnumpy.ndarrayで処理できるように、def sigmoid()を作成しました。
現在のサーモ AI デバイス TiDは、この処理を用いています。
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import numpy as np
from temp_data import temp_data
class Version4():
def __call__(self, parameters: dict) -> np.array:
self.parameters = parameters
width = self.parameters.max - self.parameters.min
temp = np.array(temp_data())
temp = temp - self.parameters.min
temp = temp / width
temp = temp.reshape(8, 8)
sqrt = int(self.parameters.pixels ** 0.5)
img = np.zeros((sqrt, sqrt, 3), dtype='uint8')
img[:, :, 0]\
= self.color_bar_rgb(temp)[0]
img[:, :, 1]\
= self.color_bar_rgb(temp)[1]
img[:, :, 2]\
= self.color_bar_rgb(temp)[2]
return img
def color_bar_rgb(self, x: np.ndarray) -> list:
"""
Return list of numpy.ndarray.
"""
x = (x * 2) - 1
red = sigmoid(x, self.parameters.gain, -1 * self.parameters.offset_x)
blue = 1 - sigmoid(x, self.parameters.gain, self.parameters.offset_x)
green = sigmoid(x, self.parameters.gain, self.parameters.offset_green)
green += (1 - sigmoid(
x, self.parameters.gain, -1 * self.parameters.offset_green))
green = green - 1.0
blue = blue * 255
green = green * 255
red = red * 255
return [blue, green, red]
def sigmoid(x: np.ndarray, gain=1, offset_x=0) -> np.ndarray:
return ((np.tanh(((x + offset_x) * gain) / 2) + 1) / 2)
if __name__ == '__main__':
pass
まとめ
| Version1 | Version2 | Version3 | Version4 |
|---|---|---|---|
|
|
|
|
| 指です | 指です | なんとなく指かも? | 指です |