こちらのページに書いてあることです。
NGINX as a WebSocket Proxy
server {
(省略)
#
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "Upgrade";
proxy_set_header Host $host;
#
(省略)
}
Ubuntu で確認しました。