JetPack 4.0でOpenCV 3.3.1をXavierにインストールするとPython3からcv2ライブラリをインポートできません。
Jetson TX1, TX2 ではOpenCVをソースからビルドする必要がありました。
しかし今回はPython3対応の /usr/lib/python3.6/dist-packages/cv2.cpython-36m-aarch64-linux-gnu.so がありました。
そこでPython3仮想環境からシンボリックリンクをはることにしました。
virtualenv で構築した仮想環境(ex. ~/virtualenv/tensorflow ディレクトリ)からインポートしたいときは

$ cd ~/virtualenv/tensorflow/lib/python3.6/site-packages
$ ln -s /usr/lib/python3.6/dist-packages/cv2.cpython-36m-aarch64-linux-gnu.so cv2.so
$ source ~/virtualenv/tensorflow/bin/activate
$ python

```python
>>> import cv2
>>> cv2.__version__
'3.3.1'
>>>

Xavier JetPack4.0 に対応した TensorFlow whlファイルは Nvidia Forum のこちら。