はじめに
リモートワークの普及に伴い、作業状況を可視化するツールへの需要が高まっています。GPT-4 VisionなどのLMM（Large Multimodal Model）を使えば高精度な解析が可能ですが、APIコストが高いのが悩みどころです。
本記事では、Pythonの従来型画像処理技術（OCR + OpenCV）を使って、低コストで作業ログシステムを構築する方法を解説します。
対象読者
- リモートワーク管理ツールに興味がある方
- LMM APIのコストに悩んでいる方
- Python + OpenCVでの画像処理に興味がある方
システム概要
実現する機能
- 画面解析：スクリーンショットからOCRでテキスト抽出し、作業内容を推定
- 在席判定：Webカメラから顔検出で在席/離席を判定
- 作業ログ記録：タイムスタンプ付きでデータベースに保存
技術スタック
- Python 3.9+
- Tesseract OCR / EasyOCR：画面テキスト抽出
- OpenCV：Webカメラ映像処理・顔検出
- Pillow：スクリーンショット取得
- SQLite：ログデータ保存
セットアップ
必要なライブラリのインストール
# 基本ライブラリ
pip install opencv-python pillow easyocr
# Tesseract OCR（高速・軽量）
# Windows: https://github.com/UB-Mannheim/tesseract/wiki
# Mac: brew install tesseract
# Linux: sudo apt-get install tesseract-ocr
pip install pytesseract
# データベース（標準ライブラリ）
# sqlite3は標準で含まれています
実装：画面解析（OCR）
スクリーンショット取得 + OCR
import pytesseract
from PIL import ImageGrab
import re
from datetime import datetime
class ScreenAnalyzer:
def __init__(self, lang='jpn+eng'):
"""
言語設定：日本語+英語のOCR
"""
self.lang = lang
def capture_screen(self):
"""
画面全体をキャプチャ
"""
screenshot = ImageGrab.grab()
return screenshot
def extract_text(self, image):
"""
OCRでテキスト抽出
"""
text = pytesseract.image_to_string(image, lang=self.lang)
return text.strip()
def classify_activity(self, text):
"""
抽出テキストから作業内容を推定
"""
text_lower = text.lower()
# キーワードベースの分類
if any(keyword in text_lower for keyword in ['vscode', 'pycharm', 'def ', 'class ', 'import']):
return 'コーディング'
elif any(keyword in text_lower for keyword in ['chrome', 'firefox', 'http', 'www']):
return 'ブラウジング'
elif any(keyword in text_lower for keyword in ['excel', 'word', 'powerpoint', '.xlsx', '.docx']):
return 'ドキュメント作成'
elif any(keyword in text_lower for keyword in ['slack', 'teams', 'zoom', 'meet']):
return 'コミュニケーション'
else:
return '不明'
def analyze(self):
"""
画面解析の実行
"""
screenshot = self.capture_screen()
text = self.extract_text(screenshot)
activity = self.classify_activity(text)
return {
'timestamp': datetime.now().isoformat(),
'activity': activity,
'text_sample': text[:100] # 最初の100文字のみ保存
}
# 使用例
analyzer = ScreenAnalyzer()
result = analyzer.analyze()
print(f"作業内容: {result['activity']}")
print(f"抽出テキスト: {result['text_sample']}")
EasyOCRを使った高精度版
Tesseractで精度が出ない場合は、EasyOCRを試してみましょう。
import easyocr
class ScreenAnalyzerEasy:
def __init__(self):
# 初回実行時にモデルダウンロード（時間がかかる）
self.reader = easyocr.Reader(['ja', 'en'], gpu=False)
def extract_text(self, image):
"""
EasyOCRでテキスト抽出
"""
results = self.reader.readtext(image)
# 検出されたテキストを結合
text = ' '.join([result[1] for result in results])
return text.strip()
比較：Tesseract vs EasyOCR
| 項目 | Tesseract | EasyOCR |
|---|---|---|
| 速度 | 高速 | 低速 |
| 精度 | 中 | 高 |
| GPU対応 | なし | あり |
| 初期設定 | 要インストール | pip install のみ |
実装：人物検出（OpenCV）
Webカメラから顔検出
import cv2
from datetime import datetime
class PersonDetector:
def __init__(self):
"""
Haar Cascade分類器の初期化
"""
self.face_cascade = cv2.CascadeClassifier(
cv2.data.haarcascades + 'haarcascade_frontalface_default.xml'
)
self.cap = cv2.VideoCapture(0) # 0はデフォルトカメラ
def detect_face(self):
"""
顔検出による在席判定
"""
ret, frame = self.cap.read()
if not ret:
return {'present': False, 'error': 'カメラ読み取り失敗'}
# グレースケール変換（顔検出の前処理）
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 顔検出
faces = self.face_cascade.detectMultiScale(
gray,
scaleFactor=1.1,
minNeighbors=5,
minSize=(30, 30)
)
return {
'timestamp': datetime.now().isoformat(),
'present': len(faces) > 0,
'face_count': len(faces)
}
def release(self):
"""
カメラリソースの解放
"""
self.cap.release()
# 使用例
detector = PersonDetector()
result = detector.detect_face()
print(f"在席状況: {'在席' if result['present'] else '離席'}")
detector.release()
より高精度な顔検出（dlib）
Haar Cascadeで精度が出ない場合は、dlibを試してみましょう。
pip install dlib
import dlib
class PersonDetectorDlib:
def __init__(self):
self.detector = dlib.get_frontal_face_detector()
self.cap = cv2.VideoCapture(0)
def detect_face(self):
ret, frame = self.cap.read()
if not ret:
return {'present': False, 'error': 'カメラ読み取り失敗'}
# RGB変換（dlibはRGB形式を期待）
rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 顔検出
faces = self.detector(rgb, 1)
return {
'timestamp': datetime.now().isoformat(),
'present': len(faces) > 0,
'face_count': len(faces)
}
実装：統合システム
定期実行 + データベース保存
import sqlite3
import time
import threading
class WorkLogSystem:
def __init__(self, db_path='work_log.db'):
self.db_path = db_path
self.screen_analyzer = ScreenAnalyzer()
self.person_detector = PersonDetector()
self.init_database()
def init_database(self):
"""
SQLiteデータベースの初期化
"""
conn = sqlite3.connect(self.db_path)
cursor = conn.cursor()
cursor.execute('''
CREATE TABLE IF NOT EXISTS work_logs (
id INTEGER PRIMARY KEY AUTOINCREMENT,
timestamp TEXT NOT NULL,
activity TEXT,
present INTEGER,
text_sample TEXT
)
''')
conn.commit()
conn.close()
def log_work(self):
"""
作業ログの記録
"""
# 画面解析
screen_result = self.screen_analyzer.analyze()
# 在席判定
person_result = self.person_detector.detect_face()
# データベース保存
conn = sqlite3.connect(self.db_path)
cursor = conn.cursor()
cursor.execute('''
INSERT INTO work_logs (timestamp, activity, present, text_sample)
VALUES (?, ?, ?, ?)
''', (
screen_result['timestamp'],
screen_result['activity'],
1 if person_result['present'] else 0,
screen_result['text_sample']
))
conn.commit()
conn.close()
print(f"[{screen_result['timestamp']}] "
f"作業: {screen_result['activity']}, "
f"在席: {'○' if person_result['present'] else '×'}")
def start_monitoring(self, interval=300):
"""
定期監視の開始（デフォルト5分間隔）
Args:
interval: 記録間隔（秒）
"""
print(f"監視開始（{interval}秒間隔）")
try:
while True:
self.log_work()
time.sleep(interval)
except KeyboardInterrupt:
print("\n監視終了")
self.person_detector.release()
def get_summary(self, date=None):
"""
作業サマリーの取得
"""
conn = sqlite3.connect(self.db_path)
cursor = conn.cursor()
if date:
cursor.execute('''
SELECT activity, COUNT(*) as count
FROM work_logs
WHERE date(timestamp) = ?
GROUP BY activity
''', (date,))
else:
cursor.execute('''
SELECT activity, COUNT(*) as count
FROM work_logs
GROUP BY activity
''')
results = cursor.fetchall()
conn.close()
return results
# 使用例
if __name__ == '__main__':
system = WorkLogSystem()
# 5分間隔で監視開始
system.start_monitoring(interval=300)
# サマリー表示（別途実行）
# summary = system.get_summary()
# for activity, count in summary:
# print(f"{activity}: {count}回")
コスト比較：LMM vs OCR+OpenCV
料金試算（1日8時間、5分間隔で記録）
| 方式 | 1回あたり | 1日（96回） | 月額（20営業日） |
|---|---|---|---|
| GPT-4 Vision | $0.01 | $0.96 | $19.2 |
| OCR + OpenCV | $0 | $0 | $0（電気代・サーバー代のみ） |
圧倒的なコスト優位性！
精度比較
| 項目 | LMM | OCR + OpenCV |
|---|---|---|
| 作業内容の詳細理解 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ |
| テキスト抽出精度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| 在席判定 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| 表情・集中度分析 | ⭐⭐⭐⭐⭐ | ⭐⭐ |
ハイブリッドアプローチの提案
最もコスト効率が良い方法：
class HybridAnalyzer:
def __init__(self):
self.ocr_analyzer = ScreenAnalyzer()
self.confidence_threshold = 0.7
self.llm_call_count = 0
self.max_llm_calls_per_day = 10 # コスト制限
def analyze_with_fallback(self):
"""
通常はOCR、不明瞭な場合のみLMM
"""
ocr_result = self.ocr_analyzer.analyze()
# 「不明」判定が多い場合、LMMで再解析
if (ocr_result['activity'] == '不明' and
self.llm_call_count < self.max_llm_calls_per_day):
print("OCR判定不明 → LMMで再解析")
# ここでLMM APIを呼び出す
# llm_result = call_gpt4_vision(screenshot)
self.llm_call_count += 1
return llm_result
return ocr_result
戦略：
- 通常時はOCR + OpenCVで処理（コスト $0）
- 判定が曖昧な時だけLMMに問い合わせ（月10回まで = $0.1）
- 総コスト：月額 $0.1 vs 純粋LMMの $19.2（99%削減！）
制約と課題
OCRの制約
- 画像・グラフ・UIアイコンからの意味理解は困難
- 文脈理解が必要な複雑な判定は精度が低い
- 日本語OCRは環境によって精度にばらつきがある
OpenCVの制約
- 表情や集中度の詳細分析は困難
- 照明条件に敏感（暗い環境では検出率低下）
- Haar Cascadeは横顔や角度のある顔の検出が苦手
改善案
- MediaPipeで姿勢推定を追加（前のめり度で集中度を推定）
- アクティブウィンドウ取得でより正確な作業分類
- キーボード・マウスの操作ログと組み合わせて精度向上
プライバシー配慮
実装すべき機能
class PrivacyFilter:
def __init__(self):
self.sensitive_keywords = [
'password', 'credit card', '口座番号', 'マイナンバー'
]
def mask_sensitive_data(self, text):
"""
機密情報のマスキング
"""
for keyword in self.sensitive_keywords:
if keyword in text.lower():
return '[機密情報を含むため非表示]'
return text
def blur_face(self, frame, faces):
"""
顔部分をぼかし処理
"""
for (x, y, w, h) in faces:
face_region = frame[y:y+h, x:x+w]
blurred = cv2.GaussianBlur(face_region, (99, 99), 30)
frame[y:y+h, x:x+w] = blurred
return frame
運用ルール
- データ保存期間の制限（例：7日間）
- 監視の一時停止機能
- 従業員への明示的な同意取得
- ローカル処理（クラウドアップロードなし）
まとめ
本記事では、LMMに頼らず、OCR + OpenCVで低コストな作業ログシステムを構築する方法を紹介しました。
メリット
- 圧倒的な低コスト（月額 $0 vs LMMの $19.2）
- オフライン動作可能（プライバシー保護）
- カスタマイズ性が高い
デメリット
- LMMに比べて精度は劣る
- 複雑な文脈理解は困難
推奨アプローチ
ハイブリッド方式で、99%のコスト削減と高精度を両立させましょう！
参考リンク
次のステップ：
- MediaPipeでの姿勢推定追加
- Dashboardの作成（Flask + Chart.js）
- 機械学習モデルでの作業分類精度向上
ぜひ、あなたの環境でも試してみてください！