Pythonで複数種のファイルをまとめて管理する方法はありますか？

現在の状況

趣味で作っているPythonのプログラムで、結構な数の細かいディレクトリ・ファイルを扱うことになっています。
構成としては、

親ディレクトリ(複数あるが数は少ない)
└子ディレクトリ(基本的に数百個ある)
　├画像ファイル(基本的に1つ、変更処理はほぼしない)
　└JSONファイル(数個、結構書き換えがある、構成は各子ディレクトリで若干異なる)

という形式になっています。
子ディレクトリが増えるごとに、親ディレクトリの移動処理の時間が目に見えて増えており、これをどうにかしたいと考えています。また、JSONファイルは基本的に1KB未満で、ファイルシステムを考えると容量の無駄もありそうです。

解決したいこと

もし親ディレクトリを

• 画像ファイルと各JSONファイルが対応しており、その対応関係を崩したくない(別ディレクトリのデータ同士を紐づけにくい構成にしたい)
• 容易に画像データを読み出せる
• JSONファイル(か、それに相当するデータ)の頻繁な読み書きができる
• 万が一の為、tarファイルのようなものよりデータ破損に強いことが望ましい
• 自分一人が実行するだけのプログラムなので、多少実行速度が落ちるのは許容できる

こういった要件を満たす単一ファイル等にする方法があれば利用してみたいのですが、そもそもどういうものを調べれば良いのかもわからない状態です……。

JSONファイルが細かいのが問題であるならば、子ディレクトリ内のファイルをまとめるだけでも状況が改善しそうではあります。

何か良い方法が分かるという方、ご教授下さい……。

自分で試したこと

そもそも何と調べたら良いのかも分からない状態です……