jupyterでvenvの環境を認識させるにはkerelを追加する必要があります。
※ちなみにjupyterはvenvごとにインストールする必要はないです。
追加
(my_venv) C:\> pip install ipykernel
(my_venv) C:\> ipython kernel install --user --name=my_venv
追加したらjupyternote bookの[Kernel]タブのChange kernelから選べばできる
削除
C:\> jupyter kernelspec uninstall my_venv
使わなくなった時に削除しないと永遠に残ります。