huggingFace にはtransformer ベースの実装が多数存在する。
それが、組み込み可能なレベルになってくることを期待して調査している。
krasserm/perceiver-io-optical-flow
pdf Perceiver IO: A General Architecture for Structured Inputs & Outputs
引用元
従来の手法よりもaverage end-point error が小さいという。
上記の図に示すようにPerciever IO は、visual transformer ベースのアルゴリズムになっている。
この論文自体は、Abstract の中に以下の記述にあるように、Optical flow と言う個別のタスク以上の部分に関心があるようだ。
In this work, we propose Perceiver IO, a general-purpose architecture that handles data from arbitrary settings while scaling linearly with the size of inputs and outputs.
huggingFace にある例題
前提：CUDAデバイスがあること。
２枚の画像を入れて、optical flow を計算してくれるweb画面
