Xcode5.1ではArchitecturesで「Standard architectures (armv7, armv7s, arm64)」しか選択できないのでarm64を外せなくなってしまったのかと思いましたが、外せましたのでその方法を共有します。
プロジェクト > TARGETS > Build Settings の Architecturesを以下の状態にします。
(armv7とarmv7sを別々に設定するよりも $(ARCHS_STANDARD_32_BIT) を設定したほうがいいみたいです)
これで64bit対応されていないライブラリも引き続き使い続けることができます！