結論:divで囲む
一応Vuetifyを使っていますが別に普通のslotでもいいと思います。
sample.vue
<template>
//コンポーネントは表示されない
<v-radio value="ce" class="mb-2">
<template v-slot:label>
<MyComponent /> //←コンポーネントを使いたい
</template>
</v-radio>
//コンポーネントが表示された
<v-radio value="ce" class="mb-2">
<template v-slot:label>
<div><MyComponent /></div> //←<div>などで囲む
</template>
</v-radio>