iPhoneのカメラで機械学習モデルによる物体検出をします

スマホで物体検出できれば、色々つかえそう。でも、難しいそう

機械学習ってむずかしいのでは？

手軽に使えるCoreMLモデルで今すぐやってみれる

アップルはiPhoneでかんたんに使えるCoreMLという形式を用意してくれています。

手順

アップルの公式モデルズーやCoreML-Modelsなどから物体検出モデルをダウンロード。

モデル実行リクエストを初期化。

guard let vnModel = try? VNCoreMLModel(for: yolov5().model) else { fatalError("Model initialization failed.") }
self.request = VNCoreMLRequest(model: vnModel)

カメラのフレームを食わせるだけ。

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {        
    guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }

    let handler = VNImageRequestHandler(cvPixelBuffer:buffer, orientation: .right, options: [:])
    do {
        try handler.perform([self.coreMLRequest])
        guard let results = self.coreMLRequest.results as? [VNRecognizedObjectObservation] else { return }
        for result in results {
            let label = observation.identifier
            let confidence = observation.confidence
            let boundingBox = observation.boundingBox
            print(label,confidence,boundingBox)
        }
    } catch let error {
        print(error)
        return nil
    }
}

フレーム毎に画像内で検出した物体のラベルと画像内座標を出力してくれます。

Optional("laptop") //　検出ラベル
0.6810466 // 信頼度
(0.002242632210254669, 0.002170730382204056, 0.21633444726467133, 0.09707524627447128) // 座標

視覚化はMLModelCameraといライブラリが便利です。

🐣

フリーランスエンジニアです。
お仕事のご相談こちらまで
rockyshikoku@gmail.com

Core MLやARKitを使ったアプリを作っています。
機械学習／AR関連の情報を発信しています。

Twitter
Medium