2016年9月ごろに早期アクセス機能とオープンベータが統合されて挙動が変わっていたようで、ちょっとびっくりしたので調べた内容を残しておきます。
オープンベータ（オープンアルファ）の古い挙動を期待して、検索してきただけの人にはインストールできないから大丈夫、という運用をしている方は見直しをご検討ください。
過去に提供されていたオープンベータ機能
「 所定のリンクから 誰でも参加できる一般公開テストを実施します。」
2015年の夏に公開されたオープンベータ機能はこんな感じでした。
オプトイン用のURLを踏んで、リンク先で「テスターになる」のボタンを押したユーザーだけがアプリをダウンロードできる、というスタイルです。
オプトインURLはパッケージ名から推測可能なので、部外者のアクセスを防げるものではないですが、ただ検索してきただけの（オーガニックな）人はオープンベータ版をインストールできない挙動になっていたので、こっそりと友達の友達くらいの範囲で触ってもらったりするにはいいバランスになっていました。
現在提供されているオープンベータ機能
『所定のリンクや Google Play上のアプリの掲載情報から 誰でも参加できる一般公開テストプログラムを実施します」
オープンベータ公開に設定してあるアプリが、ベータテスターではない人の検索結果に引っかかり、かつインストールも可能な状態になっています。
早期アクセス版という名前で公開されているようです。
公式ドキュメントにも言及がありました。
オープン ベータ版テストを設定すると、Play ストアにベータ版アプリが表示されます。このテストは、アプリが Play ストアで公開できる状態になってから実施してください。
- 早期アクセス版アプリ（製品版が公開されていない新しいアプリ）の場合: ベータ版であっても Google Play で検索でき、ストアの掲載情報から通常のアプリと同じようにインストールできます。
- 公開中の製品版アプリの場合: ユーザーはストアの掲載情報からベータ版テストに参加できます。
また、ウェブサイトやメールで URL リンクを共有し、ベータ版アプリをダウンロードしてもらうこともできます。
というわけで、製品版なしでオープンベータを設定すると、事実上製品版を公開したのと同じような状況になります。
この挙動変更ってアナウンスありました！？という気持ちになっているのですが、インターネット・アーカイブを掘り返したら、公式ブログ（和訳）と同時期の9月にキッチリ更新されていまして、ぐうの音も出ないのです。
ただ、公式ブログでは早期アクセスについては言及してる一方で、オープンベータとの絡みは言及されてないんですよねえ。ちょっと腑に落ちない感じでした。
まとめ
大規模なグループでテストを実施したいけどPlayストアでオーガニック検索してきた人たちにまで入ってきてほしいわけではない、くらいの微妙な立ち位置でテストをしたい場合の選択肢がいつの間にかなくなっていました。（何か代わりに良いサービスがあればどなたか教えてください）
面倒がらずにクローズドテストにしてユーザーのメールアドレスをちゃんと集めるのがよさそうです・・・