ずばり
config.gpu_options.allow_growth = True
にしてないでしょうか。
Resource exhausted: OOM when allocating tensor... のエラーはGPUのメモリが足りないときに出るようです。
そして、 config.gpu_options.allow_growth を True にすると、
実行時に必要な分だけ確保するようになる、というメリットがあるものの、
一方で自動的にはメモリを開放しないので、メモリが断片化して性能が悪化する可能性がある、とのことでした。
私のケースではこの記述を削除した所、エラーが起きなくなりました。
※@namakemono さまの記事を参考にさせて頂きました。
以上です！