多分以下の方法がある

virtualenv + pip(3)

前準備
emerge pip virtualenv
調理
mkdir ˜/tensorflow

virtualenv --system-site-packages ˜/tensorflow もしくは
virtualenv --system-site-packages -p python3 ˜/tensorflow #python3

source ˜/tensorflow/bin/activate
easy_install -U pip
pip install --upgrade tensorflow

あとは使う前にvirtualenv に入る魔法
source ˜/tensorflow/bin/activate
を忘れなければ動く、はず
CPUのアーキテクチャが云々と出るかもしれませんが頑なに無視しましょう