GitHub Actionsでデプロイする際に、SSHの鍵にパスフレーズを設定している場合にパスフレーズもレポジトリの設定に登録しないとタイムアウトしてしまうようです。

name: CI

on:
  push:
    branches:
      - main

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - name: Deploy
        uses: appleboy/ssh-action@master
        with:
          host: ${{ secrets.SERVER_HOST }}
          username: ${{ secrets.SERVER_USERNAME }}
          port: ${{ secrets.SSH_PORT }}
          key: ${{ secrets.SSH_PRIVATE_KEY }}
          passphrase: ${{ secrets.SSH_PASSPHRASE }} ← これを追加
          script: |
            cd ${{ secrets.SERVER_DEPLOY_DIR }}
            git pull origin main

ある時までエラーなくデプロイ出来ていたので、まさかパスフレーズが原因とは思いませんでした。(サーバ移行のタイミングでパスフレーズ付きの鍵にしていたのかな)