Rails Gem使用について

現在railsでアプリケーションを制作しています。
初めての制作でGemについてわからないことがあるため教えてください。

アプリケーション作成にあたりGemの使いすぎは良くないのでしょうか？
機能を追加したいと思いGemをいろいろ使用していたのですがふと「使いすぎなのでは？」と感じました。

ネットで検索をしてみると
・ もし動かないときは自分で直せるようになっている必要がある。
・ 必要のない機能までついてくる必要がある。

などの意見がありますが実際のところはどうなのでしょうか？
アプリケーションの規模等にもよるとは思いますが教えていただきたいです。