Django settings.py ハードコーディングしてはいけない？

API_KEYやACCESS_KEYなどをハードコーディングせず環境変数で管理すべきという記事を拝見し、なぜセキュリティ上良くないのかと疑問を持ちました。調べてみても「gitでpushの際に～」というものしか出てきません。極端な話gitを使わずssh接続で直書きするような場面ではハードコーディングしてもセキュリティ上特に問題はないのでしょうか？
python以外触ったことがない独学で学習中の初学者のため見当違いな質問でしたら申し訳ございません。