前提条件
gcloud compute sshを使わない前提でご説明します。
macでやってます。windowsの場合はputtygenなどで鍵の作成を行なってください。
予めGCEにてインスタンスを作成しておき、外部IPをメモしてください。

やり方
ログインするためのsshキーの作成
ログインを行うためのSSHキーを作成します。
パスフレーズはできるだけ入れたほうがいいかもです
rache:.ssh rache$ ssh-keygen -t rsa -b 4096 -C "自分のメールアドレス"
Generating public/private rsa key pair.
Enter file in which to save the key (/Users/rache/.ssh/id_rsa): /Users/rache/.ssh/id_rsa_develop
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
rache:.ssh rache$ ls
id_rsa_develop id_rsa_develop.pub
known_hosts
rache:.ssh tokuhiro$ cat id_rsa_develop.pub
公開鍵の登録
表示された公開鍵(id_rsa_develop.pub)を「ComputeEngine→メタデータ→SSH認証鍵に登録」

rache:.ssh rache$ ssh xxx.xxx.xxx.xxx -i id_rsa_develop
Are you sure you want to continue connecting (yes/no)? yes
[rache@develop ~]$
これで入れます。
ちょい補足
以下ファイルを加えると、鍵の管理が複雑にならなくていいかもです。
~/.ssh/config
Host xxx.xxx.xxx.xxx
HostName xxx.xxx.xxx.xxx
User rache
Port 22
IdentityFile ~/.ssh/id_rsa_develop
TCPKeepAlive yes
IdentitiesOnly yes
特定のインスタンスのみ入れるようにしたい場合
上記の設定だと、作成したプロジェクト全てにSSHで入れるようになってしまいます。
特定のインスタンスのみに限って入れるようにしたい場合は、
「VMインスタンス」からインスタンスの編集を行い、「SSH認証鍵」欄にて
作成した「id_rsa_develop.pub」の内容を貼り付けてください。
