ガウシアンフィルタの色自体を指定します。
サンプル↓
test.svg
<svg>
<filter xmlns="http://www.w3.org/2000/svg" id="drop-shadow" filterUnits="userSpaceOnUse" color-interpolation-filters="sRGB">
<feComponentTransfer in="SourceAlpha">
<feFuncR type="discrete" tableValues="1"/>
<feFuncG type="discrete" tableValues="0"/>
<feFuncB type="discrete" tableValues="0"/>
</feComponentTransfer>
<feGaussianBlur stdDeviation="2"/>
<feOffset dx="0" dy="0" result="shadow"/>
<feComposite in="SourceGraphic" in2="shadow" operator="over"/>
</filter>
<rect width="50" height="50" fill="red" filter="url(#drop-shadow)" />
</svg>
feComponentTransferってやつでRGB値を指定しつつfilterにcolor-interpolation-filtersを付与しましょう。