const values = [...document.getElementsByName('checkBoxName')].filter(elm => elm.checked).map(elm => elm.value);
if (values.length === 0) {
alert('チェックボックスをチェックしてください。')
}
ES2015じゃないと動かないですが、新しいブラウザなら動くと思います。
domの配列だと機能が足りないので、一旦、jsの配列に変換しているところがポイントかと思います。