v2021.8から.vsixファイルから普通にインストールできるようになりましたので、以下の作業は不要です（2021年7月追記）。
備忘メモ
オフラインでVisual Studio Codeを使っている場合、拡張機能は.vsixファイルからインストールしますが（こちらを参照）、拡張機能Jupyterをインストールしようとした際に問題が発生しましたので、その対処法を説明します。
トラブル
拡張機能Jupyterを、ダウンロードした.vsixファイルからインストールしようとすると次のようなエラーメッセージが表示され、インストールできませんでした。Visual Studio Codeを最新版にしても同じメッセージが表示されます。
日本語
「拡張機能 'ms-toolsai.jupyter' は、VS Code '1.55.0' と互換性がないため、インストールできません。」
英語
「Unable to install extension 'ms-toolsai.jupyter' as it is not compatible with VS Code '1.55.0'.」
対処法
（バージョン情報やファイル名は21年4月時点のもの。適宜読み替えてください。）
STEP 1 ms-toolsai.jupyter-2021.6.755784270.vsixファイルの拡張子を.zipに変えて、中身を解凍します。
STEP 2 解凍したファイルのうち、./extension/package.jsonファイルの"engines":{...}部分を以下のように変更します。
./extension/package.json（変更前）
...
"engines": {
"vscode": "1.56.0-insider"
},
...
./extension/package.json（変更後）
...
"engines": {
"vscode": "^1.55.0"
},
...
STEP 3 解凍したファイルを再度zipで圧縮し、拡張子を.vsixに戻して、このファイルからインストールします。