結論: 下記通り、nginx.conf->locationの設定を追加して解決した
location / {
# その他設定
# websocket接続エラー解決するため --start
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "Upgrade";
# websocket接続エラー解決するため --end
# その他設定
}