各ドキュメントに書かれてる手順がバラバラでつらかったので成功した手順を記載しておく
config.xmlを以下のように設定
config.xml
<platform name="android">
<icon src="www/res/android/icon/ldpi.png" density="ldpi" />
<icon src="www/res/android/icon/mdpi.png" density="mdpi" />
<icon src="www/res/android/icon/hdpi.png" density="hdpi" />
<icon src="www/res/android/icon/xhdpi.png" density="xhdpi" />
</platform>
アイコンのpngをwww/res/android/以下に置く
$ cp youricon_idpi.png www/res/android/icon/idpi.png
$ cp youricon_mdpe.png www/res/android/icon/mdpi.png
$ cp youricon_hdpi.png www/res/android/icon/hdpi.png
$ cp youricon_xhdpi.png www/res/android/icon/xhdpi.png
また、3.6系のcordovaから、splashscreenも同様の方法で設定できるように改修されたようです
config.xml
<platform name="android">
<splash src="www/res/android/splash/ldpi.png" density="ldpi" />
<splash src="www/res/android/splash/mdpi.png" density="mdpi" />
<splash src="www/res/android/splash/hdpi.png" density="hdpi" />
<splash src="www/res/android/splash/xhdpi.png" density="xhdpi" />
</platform>
That's all.