前編 白黒写真の色付けについて（1/2）の続き
##Colorful Image Colorization
三番目はUC Berkeleyの研究です。
#####モデル
We embrace the underlying uncertainty of the problem by posing it as a classification task and use class-rebalancing at training time to increase the diversity of colors in the result.
...
the loss function is dominated by desaturated ab values. We account for the classimbalance problem by reweighting the loss of each pixel at train time based on the pixel color rarity.
論文を読まないと、あまり理解できないですが（読んでも、理解できないかも。笑）、ab valueの重みの再計算により、クラス調整で結果はカラフルしやすくなります。
#####結果
とりあえず、論文中の結果を見ましょう。
確かにカラフルになりますが、色付けない部分も結構ありますね。
実際にやってみます。
依存ライブラリは前編ですでにインストールしたCaffeです。
本体をダウンロードします。
git clone -b master --single-branch https://github.com/richzhang/colorization.git
デモはjupyterで実行します。
CPU onlyなので、コードを修正しなければなりません。
gpu_id = 0
caffe.set_mode_gpu()
caffe.set_device(gpu_id)
を
caffe.set_mode_cpu()
に書き換えます。
とりあえず、速いです。
色付け結果も素晴らしいです。
オンラインデモもあります。
##まとめ
Satoshi Iizuka:
Gustav Larsson:
Richard Zhang:
| Satoshi Iizuka | Gustav Larsson | Richard Zhang | |
|---|---|---|---|
| Speed | Middle(1分以内) | Slow(しかもメモリは4G以上が必要) | Fast(10秒前後) |
| Result | 普通(変な色付けもある) | やや不十分？ | カラフル(一番いいかも？) |