Kerasでモデル平均化(Model averaging)のメモ

モデル平均化(Model averaging)

機械学習では学習する度に結果が異なる。そのため、同じ条件で複数のモデルを作成し平均をとる。

原文：
Model averaging is an ensemble learning technique that reduces the variance in a final neural network model, sacrificing spread in the performance of the model for a confidence in what performance to expect from the model.

翻訳：
モデル平均化は、最終的なニューラルネットワークモデルの分散を低減するアンサンブル学習手法であり、モデルのパフォーマンスの広がりを犠牲にして、モデルに期待されるパフォーマンスの信頼性を高めます。

引用：
https://machinelearningmastery.com/model-averaging-ensemble-for-deep-learning-neural-networks/

モデルのコピー

keras.models.clone_modelを使う。

Help on function clone_model in module keras.models:

clone_model(model, input_tensors=None)
    Clone any `Model` instance.

    Model cloning is similar to calling a model on new inputs,
    except that it creates new layers (and thus new weights) instead
    of sharing the weights of the existing layers.

    # Arguments
        model: Instance of `Model`
            (could be a functional model or a Sequential model).
        input_tensors: optional list of input tensors
            to build the model upon. If not provided,
            placeholders will be created.

    # Returns
        An instance of `Model` reproducing the behavior
        of the original model, on top of new inputs tensors,
        using newly instantiated weights.

    # Raises
        ValueError: in case of invalid `model` argument value.

keras.models.clone_modelで複製したモデルの重みは複製されない。初期の重みはランダムに設定されるのかな。
そのため、クローン元のモデルからmodel.get_weights()で重みを取り出す。
そして、クローンするモデルに.load_weights('my_weights')を用いて重みを設定する。

参考:https://stackoverflow.com/questions/54366935/make-a-deep-copy-of-a-keras-model-in-python

予測を組み合わせる

下記のURLを参考にしてみてください。
https://machinelearningmastery.com/model-averaging-ensemble-for-deep-learning-neural-networks/