http://qiita.com/kikusumk3/items/907565559739376076b9 に環境変数を使う方法が書いてるけれど、jupyter とかから使う場合に困る(特にjuypterだとノートブック間でGPUの取り合いになりがち)
import keras
import tensorflow as tf
import keras.backend as K
K.tensorflow_backend.set_session(tf.Session(config=tf.ConfigProto(device_count = {'GPU': 0})))
でうまくいくようだ