raspberry pi 1でtensrorflow lite その17

概要

raspberry pi 1でtensorflow liteやってみた。
マイク入力を扱うので、alsaを叩いてみた。
そのまま、出力するモデルを学習してみた。
ラズパイで、リアルタイム処理してみた。その2。

Makefileを書く。

CXXFLAGS ?= -I../tensorflow -I../tensorflow/tensorflow/lite/tools/make/downloads/flatbuffers/include
LDFLAGS ?= -L../tensorflow/tensorflow/lite/tools/make/gen/rpi_armv6l/lib

.PHONY: all clean

all: main

main: main.cpp
    g++ --std=c++11 main.cpp -O2 $(CXXFLAGS) $(LDFLAGS) -ltensorflow-lite -lstdc++ -lpthread -ldl -lm -lasound -o test

clean:
    rm -f test

Makeして、実行。

#include <vector>
#include <chrono>
#include <iostream>
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include <stdlib.h>
#include <stdio.h>
#include <alsa/asoundlib.h>
using namespace std;

#define OUT_FREQ            44100
#define IN_FREQ             44100
bool is_error(TfLiteStatus const & status)
{
    return status != kTfLiteOk;
}
int main(int argc, char const * argv[])
{
    int err;
    int i,
        j,
        k;
    snd_pcm_t * in_handle;
    snd_pcm_t * out_handle;
    snd_pcm_sframes_t frames1,
        frames2;
    short in_buffer[IN_FREQ * 5];
    short out_buffer[OUT_FREQ * 5];
    if ((err = snd_pcm_open(&in_handle, "default", SND_PCM_STREAM_CAPTURE, 0)) < 0)
    {
        fprintf (stderr, "Capture open error: %s\n", snd_strerror(err));
        return 1;
    }
    if ((err = snd_pcm_set_params(in_handle, SND_PCM_FORMAT_S16_LE, SND_PCM_ACCESS_RW_INTERLEAVED, 1, IN_FREQ, 1, 1000 * 1000)) < 0)
    {
        fprintf (stderr, "Capture open error: %s\n", snd_strerror(err));
        return 1;
    }
    if ((err = snd_pcm_open(&out_handle, "default", SND_PCM_STREAM_PLAYBACK, 0)) < 0)
    {
        fprintf (stderr, "Playback open error: %s\n", snd_strerror(err));
        return 1;
    }
    if ((err = snd_pcm_set_params(out_handle, SND_PCM_FORMAT_S16_LE, SND_PCM_ACCESS_RW_INTERLEAVED, 2, OUT_FREQ, 1, 1500 * 1000)) < 0)
    {
        fprintf (stderr, "Playback open error: %s\n", snd_strerror(err));
        return 1;
    }   
    std::string a = "voice1.tflite";
    TfLiteStatus status;
    std::unique_ptr<tflite::FlatBufferModel> model;
    std::unique_ptr<tflite::Interpreter> interpreter;
    model = tflite::FlatBufferModel::BuildFromFile(a.c_str());
    if (!model)
    {
        std::cerr << "0: Failed to load the model." << std::endl;
        return -1;
    }
    tflite::ops::builtin::BuiltinOpResolver resolver;
    tflite::InterpreterBuilder(* model, resolver)(& interpreter);
    status = interpreter->AllocateTensors();
    if (is_error(status))
    {
        std::cerr << "2: Failed to allocate the memory for tensors." << std::endl;
        return -1;
    }
    float * in = interpreter->typed_input_tensor<float>(0);
    float * out = interpreter->typed_output_tensor<float>(0);
    while(1)
    {
        std::cout << ">";
        frames1 = snd_pcm_readi(in_handle, in_buffer, 44100);
        if (frames1 < 0)
        {
            std::cout << " ?";
            frames1 = snd_pcm_recover(in_handle, frames1, 0);
        }
        std::cout << " >";
        for (i = 0; i < frames1; i += 1000)
        {
            std::cout << ">";
            for (j = 0; j < 1000; j++)
            {
                k = i + j;
                in[0] = in_buffer[k] / 32768.;
                if (i == 0) in[1] = 0;
                else in[1] = (in_buffer[k] - in_buffer[k - 1]) / 32768.;
                status = interpreter->Invoke();
                if (is_error(status))
                    {
                    std::cerr << "3: Failed to invoke the interpreter." << std::endl;
                    return -1;
                    }
                out_buffer[2 * j] = out[0] * 32768.;
                out_buffer[2 * j + 1] = out[0] * 32768.;
            }
            frames2 = snd_pcm_writei(out_handle, out_buffer, 1000);
            if (frames2 < 0)
            {
                frames2 = snd_pcm_recover(out_handle, frames2, 0);
            }
        }
        std::cout << " >" << std::endl;
    }
    snd_pcm_close(in_handle);
    snd_pcm_close(out_handle);
    return 0;
}

結果

エラー吐くが、なんとか実用。
snd_pcm_writeiが、ブロッキングなので、そこを利用した。

以上。