何をしたいか
githubではサイズの大きいファイル(>100MB)のpushは禁止されている。大きいファイルを扱う場合には、gitlfsという仕組みを使う必要がある。詳細は別記事に譲る。
我々の環境では社用サーバ(AWS)上に構築したgitlabをリモートサーバとして使用しているものの、将来的なgithubへの移行も考慮して、gitlfsを扱えるようにしておく。
＃一度大容量ファイルを登録した履歴が残っていると、その履歴を削除しない限りgithubにpushできなくなる！
主に以下の公式docを参照した。
https://gitlab-docs.creationline.com/ee/topics/git/lfs/
サーバ側の要件は以下：
- Git LFS is supported in GitLab starting with version 8.2
- Git LFS must be enabled under project settings
- Git LFS client version 1.0.1 and up
3番目のGit LFS clientが入っていないので、これをインストールする。
gitlabサーバにgit-lfsをインストールする
普通にsudo yum install git-lfsすると、パッケージが見つからないといわれてしまう。RHELやCentOSとは異なり、AmazonLinux2では専用のリポジトリしか登録されていないため、個別に登録する必要がある。
git-lfsのinstallガイドに記載されている手順に社内のプロキシサーバの設定を加えて実行。
$ sudo curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh -x http://<proxy_server>:<port> | sudo bash
Detected operating system as amzn/2.
Checking for curl...
Detected curl...
Downloading repository file: https://packagecloud.io/install/repositories/github/git-lfs/config_file.repo?os=amzn&dist=2&source=script
curl: (7) Failed to connect to packagecloud.io port 443: Connection timed out
Unable to run:
curl https://packagecloud.io/install/repositories/github/git-lfs/config_file.repo?os=amzn&dist=2&source=script
Double check your curl installation and try again.
の状態で止まってしまう。失敗したcurlコマンドを直接実行してみる。プロキシサーバの指定と、&でコマンドがエスケープされてしまうのでURLをダブルクオートで囲って実行。
$ curl "https://packagecloud.io/install/repositories/github/git-lfs/config_file.repo?os=amzn&dist=2&source=script" --proxy http://<proxy_server>:<port>
[github_git-lfs]
name=github_git-lfs
baseurl=https://packagecloud.io/github/git-lfs/el/7/$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/github/git-lfs/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
[github_git-lfs-source]
name=github_git-lfs-source
baseurl=https://packagecloud.io/github/git-lfs/el/7/SRPMS
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/github/git-lfs/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
ここに表示された内容を/etc/yum.repos.d/github_git-lfs.repoとして保存する。この状態でリポジトリリストを見るとgit-lfsが登録されていることがわかる。
$ yum repolist all
読み込んだプラグイン:extras_suggestions, langpacks, priorities, update-motd
リポジトリー ID リポジトリー名 状態
!amzn2-core/2/x86_64 Amazon Linux 2 core repository 有効: 25,208
amzn2-core-debuginfo/2/x86_64 Amazon Linux 2 core repository - debuginfo packages 無効
amzn2-core-source/2 Amazon Linux 2 core repository - source packages 無効
!amzn2extra-docker/2/x86_64 Amazon Extras repo for docker 有効: 42
amzn2extra-docker-debuginfo/2/x86_64 Amazon Extras debuginfo repo for docker 無効
amzn2extra-docker-source/2 Amazon Extras source repo for docker 無効
!amzn2extra-nginx1/2/x86_64 Amazon Extras repo for nginx1 有効: 54
amzn2extra-nginx1-debuginfo/2/x86_64 Amazon Extras debuginfo repo for nginx1 無効
amzn2extra-nginx1-source/2 Amazon Extras source repo for nginx1 無効
!github_git-lfs/x86_64 github_git-lfs 有効: 65
!github_git-lfs-source github_git-lfs-source 有効: 0
!gitlab_gitlab-ee/x86_64 gitlab_gitlab-ee 有効: 649
!gitlab_gitlab-ee-source gitlab_gitlab-ee-source 有効: 0
!runner_gitlab-runner/x86_64 runner_gitlab-runner 有効: 94
!runner_gitlab-runner-source runner_gitlab-runner-source 有効: 0
repolist: 26,112
後は通常のパッケージインストール手順と同様。バージョンは2.13.3でgitlabの要件を満たしている。
$ sudo yum install -y git-lfs
$ git-lfs --version
git-lfs/2.13.3 (GitHub; linux amd64; go 1.16.2; git a5e65851)
gitlabの設定変更
/etc/gitlab/gitlab.rbで以下の2行コメントアウトを解除して、$ gitlab-ctl reconfigure
### Git LFS
gitlab_rails['lfs_enabled'] = true
gitlab_rails['lfs_storage_path'] = "/var/opt/gitlab/gitlab-rails/shared/lfs-objects"
# gitlab_rails['lfs_object_store_enabled'] = false
# gitlab_rails['lfs_object_store_direct_upload'] = false
# gitlab_rails['lfs_object_store_background_upload'] = true
# gitlab_rails['lfs_object_store_proxy_download'] = false
クライアント(ローカルリポジトリ)側の設定
git-lfsの手順にしたがってファイルをpush。
# git-lfsの設定
$ git lfs install
$ git lfs track <lfsで扱うファイル>
# 対象ファイルの登録。.gitattributesも登録する
$ git add .
$ git commit -m "add large file"
$ git push
Remote "origin" does not support the LFS locking API. Consider disabling it with:
$ git config lfs.https://<remote URL>/<repository name>/info/lfs.locksverify false
batch response: Fatal error: Server error: http://<remote URL>/<repository name>/info/lfs/objects/batch from HTTP 503
Uploading LFS objects: 0% (0/1), 0 B | 0 B/s, done.
Errors logged to <local URL>/<repository name>/.git/lfs/logs/20210701T103557.261027288.log
Use `git lfs logs last` to view the log.
error: failed to push some refs to '<local URL>/<repository name>'
consider desabling it with:…はワーニングで、複数ユーザによるアクセス競合を避けるための仕組みをリモートサーバがサポートしていないよ、というもの。メッセージに従って設定を追加しても後者のエラーが残る。
後者のエラーについては、以下に記述があった。
Known limitations
Git LFS v1 original API is not supported since it was deprecated early in LFS development
When SSH is set as a remote, Git LFS objects still go through HTTPS
Any Git LFS request will ask for HTTPS credentials to be provided so a good Git credentials store is recommended
Git LFS always assumes HTTPS so if you have GitLab server on HTTP you will have to add the URL to Git configuration manually (see troubleshooting)
Note: With 8.12 GitLab added LFS support to SSH. The Git LFS communication still goes over HTTP, but now the SSH client passes the correct credentials to the Git LFS client, so no action is required by the user.
我々の環境では通常のgitはsshで実行している。しかしlfsはHTTPを経由する。そのため、社内サーバにもかかわらずプロキシサーバを経由してアクセスしに行こうとするものだから、エラーが発生していたということだ。
ということで.cshrcのno_proxyにリモートサーバを登録して、再度pushすることで、無事解決。