各ドキュメントに書かれてる手順がバラバラでつらかったので成功した手順を記載しておく

config.xmlを以下のように設定

config.xml

<platform name="android">
    <icon src="www/res/android/icon/ldpi.png" density="ldpi" />
    <icon src="www/res/android/icon/mdpi.png" density="mdpi" />
    <icon src="www/res/android/icon/hdpi.png" density="hdpi" />
    <icon src="www/res/android/icon/xhdpi.png" density="xhdpi" />
</platform>

アイコンのpngをwww/res/android/以下に置く

$ cp youricon_idpi.png www/res/android/icon/idpi.png
$ cp youricon_mdpe.png www/res/android/icon/mdpi.png
$ cp youricon_hdpi.png www/res/android/icon/hdpi.png
$ cp youricon_xhdpi.png www/res/android/icon/xhdpi.png

また、3.6系のcordovaから、splashscreenも同様の方法で設定できるように改修されたようです

config.xml

<platform name="android">
    <splash src="www/res/android/splash/ldpi.png" density="ldpi" />
    <splash src="www/res/android/splash/mdpi.png" density="mdpi" />
    <splash src="www/res/android/splash/hdpi.png" density="hdpi" />
    <splash src="www/res/android/splash/xhdpi.png" density="xhdpi" />
</platform>

That's all.