  "python.terminal.activateEnvironment": false,

を settings.json に追加すると、勝手に VSCode が Python の仮装環境を起動するのを阻止できる。

Python environments in VS Code によると、Python 仮装環境は次のように決まるらしい。

しかし！勝手に前回の仮装環境が選ばれるなど勝手な事が起こる。そのような場合は明示的に使いたい環境から改めて code コマンドで VSCode を起動するか上記のように activateEnvironment を false にすると良い。

一年くらい悩んでいたのでここに記す。