1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

エヌシーアイ総合システムAdvent Calendar 2021

Day 11

大量データ取得機能でのボトルネックが意外だった話

Posted at

とあるバッチで、OracleDBから複雑なクエリで5000万件ほどデータを取得する部分が長時間処理になっていて問題になっていた。

実行計画をあれこれ解析しても特に改善せず、お手上げかと思っていたが、
バッチの実行ログをみるとクエリの実行には時間がかかっておらず、
その後のフェッチで時間がかかっていることが判明。

なんだよ、実行計画解析意味なかったじゃねーかよ、と思いつつ、
フェッチに時間かかっているなら5000万件だしどうしょうもないかな・・?
と思いつつ、ふとフェッチサイズが気になって調査したところ、JDBCのデフォルトで10に設定されていたことが判明

10!?

試しに、この値を100に上げたところ圧倒的に速度改善!(数時間→数十分)
その後、1000にしたところ10分ちょいにまで改善。

そりゃそうだよね。
フェッチサイズ10ということは、5000万件のデータを取得するのに500万回DBサーバにアクセスしてるんだもんね。1回あたり数ミリ秒でも数百分だよね。。
フェッチサイズ100なら50万回だから450万回も減るよね(1000なら5万回・・)。
もちろん、1回あたりの取得データ量は増えるから1/10にはならないけど、1回のアクセスごとに固定でかかる時間ってそりゃきっとあるよね。

「大量データ取得処理が遅い=実行計画改善が必要!」というのが固定観念だったと思い知った、いつだかの思い出。

ただし、フェッチサイズを上げすぎるとOracle側での大量メモリ確保が必要になるらしいので注意。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?