事象
Ubuntu を日本語を選択してインストールすると、ホームディレクトリ以下に日本語で「デスクトップ」だの「ダウンロード」だの日本語のディレクトリができて鬱陶しい事この上ない。
解消法
以下のコマンドで出てくるダイアログの指示に従えば、英語に変更できる。
$ LANG=C xdg-user-dirs-gtk-update
ただし、すでにそれらのディレクトリを使用していると、英語のディレクトリは作られるが日本語ディレクトリも残ってしまうので、自分で始末する必要がある。
特に、「デスクトップ」はその特性上（常に「そこ」にあって使用中）なので、再起動してからでないと消せない（と思う）。
変更による問題
英語に変更した後、起動時に /usr/bin/blueman-applet がエラーを起こす。これは /home/user/.gconf/apps/blueman/transfer/%gconf.xml の中に "/home/user/公開" という記述が残っているから。
「公開」を「Public」に変更してあげれば、エラーは解消される。
2017-08-15 追記
いつのまにか（16.04 から？）blueman の管理方法が変わったようで、最近のバージョンでは上記のエラーは出なくなった（そもそもその設定ファイル自体がない）かわりに、"/home/user_name/ダウンロード" が見つからないとか言われるようになった。
gsettings (dconf) というシステムを使っているようで、そこの設定に "/home/user_name/ダウンロード" が残っているので修正してあげないといけない。管理用のコマンドラインツールが用意されているので以下のように正しいディレクトリ名に修正してあげればよい。（この設定ファイルはバイナリなので、テキストエディタで修正というわけにはいかない）
# user_name の部分は自分のユーザー名に置き換える
$ gsettings set org.blueman.transfer shared-path '/home/user_name/Downloads'
この節を追加する際に参考にしたもの → UbuntuでBluemanがダウンロードディレクトリがないと言ってくる
ありがとうございました。
2018-07-26 追記
もしかしたら、英語でインストールしてあとから日本語（とIM）を入れたほうが早いし環境も汚れないかもしれない。
ということに最近気づいた。