仮想環境だとどうしてもインストールできなかったので本番環境にapt-getでインストールした後仮想環境で本番環境を使えるようにしました。
まずはapt-getでインストール
sudo apt-get update
sudo apt-get install python3-numpy python3-pandas
その後、仮想環境のディレクトリ内のpyvenv.cfgを編集します。
nano myenv/pyvenv.cfg
デフォルトではこの値がfalseになってるので、ここをtrueにしましょう。
include-system-site-packages = true
これ知らなかったんですけど、かなり便利だと思います。また一つ勉強になりました。