kubectlでのconfigmapは更新コマンドなくて、
いちいちDeleteUpdateしてたら面倒くさいし、
削除したら差分とれないし
なんとか上手い具合にならないかと思って色々調べてたら
--save-config --dry-run=client -o yaml
オプションをつけてyamlを生成し
kubectl apply に渡せば良い感じに更新できました。
以下はConfigmap作成の例です。
kubectl create configmap nginx-server-config --from-file=./conf.d \
--save-config --dry-run=client -o yaml | kubectl apply -f -