このオプションを付けることで直りました。
config.js
algorithmOpts: {sort: false}
最終的なspriteのコンフィグは下記の通り
config.js
sprite: {
src: src + '/**/sprite/*.png',
dest: dest + '/image/',
options: {
imgPath: '/image/sprite.png',
imgName: 'sprite.png',
cssFormat: 'stylus',
cssName: '_sprite.styl',
algorithm: 'top-down',
algorithmOpts: {sort: false}
}
}