xlsxファイルからのデータ読み込み

xlsxファイルからデータを読み込む際の効率的な方法

行動実験でPsychoPyを使用してるのですが、ループの条件ファイルにxlsxファイルを設定しています。
そして、xlsxファイルには行ごとに「呈示する画像の種類」などの条件が書き込まれています。

今回、pythonのプログラムでこのファイルから１行ずつ値を取ってきて、強化学習(softmax, Q-learning)を行うことを考えています。
つまり、１行目の刺激および報酬に対して、softmaxで行動を選択してQ値の更新を行います。
そして、更新したQ値を用いて、２行目の刺激および報酬に対して同様の操作を繰り返します。

都度xlsxファイルを参照しに行くと時間がかかるのではないかと考えて、
現在は、ファイルの中身をデータフレームにしてしまい、そのデータフレームから値を参照するようにしています。

上記のようなxlsxファイルを使用することは前提として、どのように１行ずつ読み出すことが効率的でしょうか？
ご教授願います。