このコマンドでできると思います
コマンド
paste \
<(ps --no-header up $(nvidia-smi --query-compute-apps=pid --format=csv,noheader | sed 's/,//g') \
| awk '{print $1 ": " $2 ","}') \
<(nvidia-smi --query-compute-apps=pid,used_memory --format=csv,noheader \
| sort \
| awk '!colname[$1]++{print $2 $3}')
結果
user_hoge: 11436, 1606MiB
user_fuga: 30874, 4142MiB
左からユーザー名、PID、メモリ使用量です。
現段階では工夫が足りないのでヘッダがなかったり、同じPIDで複数のGPUを使用している場合に両方の利用量を表示できなかったりします