以下のようにvalues[i][0] === ''で判定する

const SHEET_URL = "sheet_url";
  const SHEET_NAME = "sheet_name";
  var spreadSheet = SpreadsheetApp.openByUrl(SHEET_URL);
  var sheet = spreadSheet.getSheetByName(SHEET_NAME);
  var values = sheet.getRange("A1:A").getValues();

for (let i in values) {
    // 空白なら次に進む
    if (values[i][0] === '') { continue }
}

細かくは覚えてないが以下のような書き方では判定できなかった

let in of values
values.classname
values[i] === []
values[i][0] === null
Object.keys(values[i]).length === 0