LoginSignup
0
0

More than 3 years have passed since last update.

PostgreSQLで2億レコード追加の性能検証

Posted at

【その1:入力ファイルの1行が74バイトのケース】

テスト用のテーブル。
image.png

テキトーなデータで200万行のcsvを100個生成。1ファイルあたり平均144498KB(≒144MB)前後。

1レコードはこんな感じ
000000001,-1718390715,0,2021-02-25 12:00,2021-02-25 12:00,2021-02-25 12:00

コピーコマンドを100回実行して\timingで時間を計測。
時間: 29165.048 ミリ秒(00:29.165)
時間: 28835.085 ミリ秒(00:28.835)
時間: 37013.829 ミリ秒(00:37.014)
時間: 28594.215 ミリ秒(00:28.594)
時間: 29863.926 ミリ秒(00:29.864)
時間: 26981.273 ミリ秒(00:26.981)
時間: 26352.349 ミリ秒(00:26.352)
時間: 28063.011 ミリ秒(00:28.063)
時間: 28144.137 ミリ秒(00:28.144)
時間: 28585.022 ミリ秒(00:28.585)
時間: 31127.185 ミリ秒(00:31.127)
時間: 31194.097 ミリ秒(00:31.194)
時間: 31038.148 ミリ秒(00:31.038)
時間: 31667.518 ミリ秒(00:31.668)
時間: 34111.862 ミリ秒(00:34.112)
時間: 33531.892 ミリ秒(00:33.532)
時間: 33752.322 ミリ秒(00:33.752)
時間: 34075.332 ミリ秒(00:34.075)
時間: 31457.038 ミリ秒(00:31.457)
時間: 34519.981 ミリ秒(00:34.520)
時間: 37533.477 ミリ秒(00:37.533)
時間: 32707.874 ミリ秒(00:32.708)
時間: 30056.278 ミリ秒(00:30.056)
時間: 32797.341 ミリ秒(00:32.797)
時間: 34404.219 ミリ秒(00:34.404)
時間: 28091.121 ミリ秒(00:28.091)
時間: 35818.566 ミリ秒(00:35.819)
時間: 37001.059 ミリ秒(00:37.001)
時間: 33694.899 ミリ秒(00:33.695)
時間: 27595.244 ミリ秒(00:27.595)
時間: 35412.138 ミリ秒(00:35.412)
時間: 32353.118 ミリ秒(00:32.353)
時間: 31312.461 ミリ秒(00:31.312)
時間: 31767.982 ミリ秒(00:31.768)
時間: 32634.281 ミリ秒(00:32.634)
時間: 31361.845 ミリ秒(00:31.362)
時間: 31356.924 ミリ秒(00:31.357)
時間: 24848.615 ミリ秒(00:24.849)
時間: 25024.282 ミリ秒(00:25.024)
時間: 25119.404 ミリ秒(00:25.119)
時間: 25423.742 ミリ秒(00:25.424)
時間: 25618.448 ミリ秒(00:25.618)
時間: 28282.178 ミリ秒(00:28.282)
時間: 26467.524 ミリ秒(00:26.468)
時間: 26761.329 ミリ秒(00:26.761)
時間: 26921.852 ミリ秒(00:26.922)
時間: 26865.750 ミリ秒(00:26.866)
時間: 26990.900 ミリ秒(00:26.991)
時間: 26049.964 ミリ秒(00:26.050)
時間: 32279.661 ミリ秒(00:32.280)
時間: 28571.277 ミリ秒(00:28.571)
時間: 28092.719 ミリ秒(00:28.093)
時間: 30653.751 ミリ秒(00:30.654)
時間: 31560.750 ミリ秒(00:31.561)
時間: 31463.105 ミリ秒(00:31.463)
時間: 33572.237 ミリ秒(00:33.572)
時間: 27784.424 ミリ秒(00:27.784)
時間: 25565.181 ミリ秒(00:25.565)
時間: 25091.592 ミリ秒(00:25.092)
時間: 26670.810 ミリ秒(00:26.671)
時間: 31273.009 ミリ秒(00:31.273)
時間: 28451.632 ミリ秒(00:28.452)
時間: 26392.468 ミリ秒(00:26.392)
時間: 27233.322 ミリ秒(00:27.233)
時間: 26637.983 ミリ秒(00:26.638)
時間: 25712.116 ミリ秒(00:25.712)
時間: 24417.875 ミリ秒(00:24.418)
時間: 27877.667 ミリ秒(00:27.878)
時間: 29702.074 ミリ秒(00:29.702)
時間: 22736.859 ミリ秒(00:22.737)
時間: 22075.602 ミリ秒(00:22.076)
時間: 21604.359 ミリ秒(00:21.604)
時間: 25342.751 ミリ秒(00:25.343)
時間: 22912.013 ミリ秒(00:22.912)
時間: 21475.610 ミリ秒(00:21.476)
時間: 22322.986 ミリ秒(00:22.323)
時間: 23212.175 ミリ秒(00:23.212)
時間: 21610.186 ミリ秒(00:21.610)
時間: 21459.236 ミリ秒(00:21.459)
時間: 22693.151 ミリ秒(00:22.693)
時間: 22683.248 ミリ秒(00:22.683)
時間: 20949.585 ミリ秒(00:20.950)
時間: 24216.720 ミリ秒(00:24.217)
時間: 23778.841 ミリ秒(00:23.779)
時間: 23334.723 ミリ秒(00:23.335)
時間: 22482.310 ミリ秒(00:22.482)
時間: 22902.959 ミリ秒(00:22.903)
時間: 24149.205 ミリ秒(00:24.149)
時間: 23687.597 ミリ秒(00:23.688)
時間: 22556.908 ミリ秒(00:22.557)
時間: 21759.851 ミリ秒(00:21.760)
時間: 22791.850 ミリ秒(00:22.792)
時間: 22671.322 ミリ秒(00:22.671)
時間: 33766.005 ミリ秒(00:33.766)
時間: 25482.223 ミリ秒(00:25.482)
時間: 21298.544 ミリ秒(00:21.299)
時間: 22583.934 ミリ秒(00:22.584)
時間: 23538.222 ミリ秒(00:23.538)
時間: 28002.764 ミリ秒(00:28.003)

平均
27852.8432ミリ秒
27.8528432秒
概ね30秒くらいな感じ。

【その2:入力ファイルの1行が214バイトのケース】

テスト用のテーブル。
image.png

テキトーなデータで200万行のcsvを100個生成。1ファイルあたり平均417935KB(≒418MB)前後。

1レコードはこんな感じ
000000001,1706321329,somewhere,080-1234-5678,samplesample@gmail.com,1995-03-23,occupation,RemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarks,0,2021-02-25 12:00,2021-02-25 12:00,2021-02-25 12:00

コピーコマンドを100回実行して\timingで時間を計測。
時間: 115542.605 ミリ秒(01:55.543)
時間: 127636.930 ミリ秒(02:07.637)
時間: 121782.489 ミリ秒(02:01.782)
時間: 133952.308 ミリ秒(02:13.952)
時間: 128774.931 ミリ秒(02:08.775)
時間: 135923.052 ミリ秒(02:15.923)
時間: 128176.454 ミリ秒(02:08.176)
時間: 119482.702 ミリ秒(01:59.483)
時間: 128247.119 ミリ秒(02:08.247)
時間: 99919.888 ミリ秒(01:39.920)
時間: 35117.137 ミリ秒(00:35.117)
時間: 39395.561 ミリ秒(00:39.396)
時間: 41378.358 ミリ秒(00:41.378)
時間: 38974.689 ミリ秒(00:38.975)
時間: 38602.085 ミリ秒(00:38.602)
時間: 36185.134 ミリ秒(00:36.185)
時間: 35211.068 ミリ秒(00:35.211)
時間: 32603.558 ミリ秒(00:32.604)
時間: 33626.924 ミリ秒(00:33.627)
時間: 36224.109 ミリ秒(00:36.224)
時間: 36056.613 ミリ秒(00:36.057)
時間: 35671.201 ミリ秒(00:35.671)
時間: 35514.277 ミリ秒(00:35.514)
時間: 37277.950 ミリ秒(00:37.278)
時間: 32602.936 ミリ秒(00:32.603)
時間: 31291.279 ミリ秒(00:31.291)
時間: 33671.094 ミリ秒(00:33.671)
時間: 36047.589 ミリ秒(00:36.048)
時間: 36273.776 ミリ秒(00:36.274)
時間: 35471.068 ミリ秒(00:35.471)
時間: 46679.116 ミリ秒(00:46.679)
時間: 38912.053 ミリ秒(00:38.912)
時間: 35321.052 ミリ秒(00:35.321)
時間: 36082.012 ミリ秒(00:36.082)
時間: 36140.827 ミリ秒(00:36.141)
時間: 35730.388 ミリ秒(00:35.730)
時間: 37672.997 ミリ秒(00:37.673)
時間: 35606.522 ミリ秒(00:35.607)
時間: 35841.675 ミリ秒(00:35.842)
時間: 36012.067 ミリ秒(00:36.012)
時間: 37218.217 ミリ秒(00:37.218)
時間: 36018.942 ミリ秒(00:36.019)
時間: 53238.375 ミリ秒(00:53.238)
時間: 44388.781 ミリ秒(00:44.389)
時間: 40152.181 ミリ秒(00:40.152)
時間: 38262.307 ミリ秒(00:38.262)
時間: 37804.962 ミリ秒(00:37.805)
時間: 33646.677 ミリ秒(00:33.647)
時間: 34077.751 ミリ秒(00:34.078)
時間: 34646.247 ミリ秒(00:34.646)
時間: 34049.052 ミリ秒(00:34.049)
時間: 34437.289 ミリ秒(00:34.437)
時間: 34865.880 ミリ秒(00:34.866)
時間: 34287.504 ミリ秒(00:34.288)
時間: 34179.106 ミリ秒(00:34.179)
時間: 35892.668 ミリ秒(00:35.893)
時間: 37156.730 ミリ秒(00:37.157)
時間: 34294.562 ミリ秒(00:34.295)
時間: 31510.620 ミリ秒(00:31.511)
時間: 34790.276 ミリ秒(00:34.790)
時間: 33830.660 ミリ秒(00:33.831)
時間: 34462.443 ミリ秒(00:34.462)
時間: 33915.449 ミリ秒(00:33.915)
時間: 34090.849 ミリ秒(00:34.091)
時間: 34338.797 ミリ秒(00:34.339)
時間: 34797.931 ミリ秒(00:34.798)
時間: 33612.765 ミリ秒(00:33.613)
時間: 29144.552 ミリ秒(00:29.145)
時間: 29350.530 ミリ秒(00:29.351)
時間: 29380.755 ミリ秒(00:29.381)
時間: 29743.440 ミリ秒(00:29.743)
時間: 29282.460 ミリ秒(00:29.282)
時間: 29316.989 ミリ秒(00:29.317)
時間: 29573.592 ミリ秒(00:29.574)
時間: 30620.478 ミリ秒(00:30.620)
時間: 29523.562 ミリ秒(00:29.524)
時間: 29042.821 ミリ秒(00:29.043)
時間: 26313.811 ミリ秒(00:26.314)
時間: 29227.524 ミリ秒(00:29.228)
時間: 29397.936 ミリ秒(00:29.398)
時間: 32032.714 ミリ秒(00:32.033)
時間: 30640.255 ミリ秒(00:30.640)
時間: 30464.846 ミリ秒(00:30.465)
時間: 30280.350 ミリ秒(00:30.280)
時間: 29608.643 ミリ秒(00:29.609)
時間: 29507.899 ミリ秒(00:29.508)
時間: 29766.148 ミリ秒(00:29.766)
時間: 29582.980 ミリ秒(00:29.583)
時間: 29451.466 ミリ秒(00:29.451)
時間: 29187.477 ミリ秒(00:29.187)
時間: 29346.355 ミリ秒(00:29.346)
時間: 29674.797 ミリ秒(00:29.675)
時間: 30314.087 ミリ秒(00:30.314)
時間: 29660.881 ミリ秒(00:29.661)
時間: 29659.481 ミリ秒(00:29.659)
時間: 29562.942 ミリ秒(00:29.563)
時間: 29358.672 ミリ秒(00:29.359)
時間: 26717.444 ミリ秒(00:26.717)
時間: 28853.424 ミリ秒(00:28.853)
時間: 158562.969 ミリ秒(02:38.563)

平均
44067.52894ミリ秒
44.06752894秒

2分以上かかっているものと、30秒足らずで終わっているものと、極端に分かれる結果。原因は不明。

参考

PCスペック
Intel corei7-8565U、16GB、Win10

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0