事例
AWSの無料枠を使用して、Railsで作成したアプリケーションをデプロイしていました。
2つ目のアプリケーションを作成するため、1つ目のアプリケーションのEC2インスタンスを停止した上でデプロイを行いました。
翌日何気なくAWSのコンソールから請求額を確認すると

といった感じで課金されていました。
対処法
インスタンスを停止した状態でAWSのマネジメントコンソールから
Elastic IPに移動し
停止しているインスタンスを選択した上で、その後アクションのタブをクリックします。

すると上の画像のように候補が出てきます。この中からアドレス関連付けの解除を選択し実行します。
以上でインスタンスと紐づいたElastic IPが解放され、課金が止まりました。
まとめ
私自身のAWSに対する理解が足りず、インスタンスを停止すれば無料枠の対象から外れ課金されないと考えていました。
この考え方自体は間違いではないのですが、ElasticIP(IPアドレス)と紐づけたままインスタンスを停止すると課金の対象となります。
AWSでは、使わなくなったElasticIP(IPアドレス)は解放するようにという取り決めがあるようなので、インスタンスを停止する際はElasticIPの解放も忘れないようにしましょう。