自分がオーナー権限を持っているファイルの
オーナー権限を他人に変更すると
自動的に自分に編集権限が与えられるので
setOwner()でオーナー権限変更後、
自分の編集権限を削除する必要があります。

var file = DriveApp.getFileById("FILE_ID_HERE");//自分がオーナーのファイル
var targetMail = "new@example.org";
var oldMail;
file.setOwner(targetMail);  
oldMail = Session.getActiveUser().getEmail();
file.removeEditor(oldMail);

removeEditor()で自分の編集権限を削除しています。
これで変更先ユーザーのみアクセスできるファイルになります。

setOwner()でオーナーを変更したタイミングで自動的に
「オーナー権限の譲渡」「編集へのご招待」メールが届くのを
やめさせたいけど無理そう…