【その1:入力ファイルの1行が74バイトのケース】
テキトーなデータで200万行のcsvを100個生成。1ファイルあたり平均144498KB(≒144MB)前後。
1レコードはこんな感じ
000000001,-1718390715,0,2021-02-25 12:00,2021-02-25 12:00,2021-02-25 12:00
コピーコマンドを100回実行して\timingで時間を計測。
時間: 29165.048 ミリ秒(00:29.165)
時間: 28835.085 ミリ秒(00:28.835)
時間: 37013.829 ミリ秒(00:37.014)
時間: 28594.215 ミリ秒(00:28.594)
時間: 29863.926 ミリ秒(00:29.864)
時間: 26981.273 ミリ秒(00:26.981)
時間: 26352.349 ミリ秒(00:26.352)
時間: 28063.011 ミリ秒(00:28.063)
時間: 28144.137 ミリ秒(00:28.144)
時間: 28585.022 ミリ秒(00:28.585)
時間: 31127.185 ミリ秒(00:31.127)
時間: 31194.097 ミリ秒(00:31.194)
時間: 31038.148 ミリ秒(00:31.038)
時間: 31667.518 ミリ秒(00:31.668)
時間: 34111.862 ミリ秒(00:34.112)
時間: 33531.892 ミリ秒(00:33.532)
時間: 33752.322 ミリ秒(00:33.752)
時間: 34075.332 ミリ秒(00:34.075)
時間: 31457.038 ミリ秒(00:31.457)
時間: 34519.981 ミリ秒(00:34.520)
時間: 37533.477 ミリ秒(00:37.533)
時間: 32707.874 ミリ秒(00:32.708)
時間: 30056.278 ミリ秒(00:30.056)
時間: 32797.341 ミリ秒(00:32.797)
時間: 34404.219 ミリ秒(00:34.404)
時間: 28091.121 ミリ秒(00:28.091)
時間: 35818.566 ミリ秒(00:35.819)
時間: 37001.059 ミリ秒(00:37.001)
時間: 33694.899 ミリ秒(00:33.695)
時間: 27595.244 ミリ秒(00:27.595)
時間: 35412.138 ミリ秒(00:35.412)
時間: 32353.118 ミリ秒(00:32.353)
時間: 31312.461 ミリ秒(00:31.312)
時間: 31767.982 ミリ秒(00:31.768)
時間: 32634.281 ミリ秒(00:32.634)
時間: 31361.845 ミリ秒(00:31.362)
時間: 31356.924 ミリ秒(00:31.357)
時間: 24848.615 ミリ秒(00:24.849)
時間: 25024.282 ミリ秒(00:25.024)
時間: 25119.404 ミリ秒(00:25.119)
時間: 25423.742 ミリ秒(00:25.424)
時間: 25618.448 ミリ秒(00:25.618)
時間: 28282.178 ミリ秒(00:28.282)
時間: 26467.524 ミリ秒(00:26.468)
時間: 26761.329 ミリ秒(00:26.761)
時間: 26921.852 ミリ秒(00:26.922)
時間: 26865.750 ミリ秒(00:26.866)
時間: 26990.900 ミリ秒(00:26.991)
時間: 26049.964 ミリ秒(00:26.050)
時間: 32279.661 ミリ秒(00:32.280)
時間: 28571.277 ミリ秒(00:28.571)
時間: 28092.719 ミリ秒(00:28.093)
時間: 30653.751 ミリ秒(00:30.654)
時間: 31560.750 ミリ秒(00:31.561)
時間: 31463.105 ミリ秒(00:31.463)
時間: 33572.237 ミリ秒(00:33.572)
時間: 27784.424 ミリ秒(00:27.784)
時間: 25565.181 ミリ秒(00:25.565)
時間: 25091.592 ミリ秒(00:25.092)
時間: 26670.810 ミリ秒(00:26.671)
時間: 31273.009 ミリ秒(00:31.273)
時間: 28451.632 ミリ秒(00:28.452)
時間: 26392.468 ミリ秒(00:26.392)
時間: 27233.322 ミリ秒(00:27.233)
時間: 26637.983 ミリ秒(00:26.638)
時間: 25712.116 ミリ秒(00:25.712)
時間: 24417.875 ミリ秒(00:24.418)
時間: 27877.667 ミリ秒(00:27.878)
時間: 29702.074 ミリ秒(00:29.702)
時間: 22736.859 ミリ秒(00:22.737)
時間: 22075.602 ミリ秒(00:22.076)
時間: 21604.359 ミリ秒(00:21.604)
時間: 25342.751 ミリ秒(00:25.343)
時間: 22912.013 ミリ秒(00:22.912)
時間: 21475.610 ミリ秒(00:21.476)
時間: 22322.986 ミリ秒(00:22.323)
時間: 23212.175 ミリ秒(00:23.212)
時間: 21610.186 ミリ秒(00:21.610)
時間: 21459.236 ミリ秒(00:21.459)
時間: 22693.151 ミリ秒(00:22.693)
時間: 22683.248 ミリ秒(00:22.683)
時間: 20949.585 ミリ秒(00:20.950)
時間: 24216.720 ミリ秒(00:24.217)
時間: 23778.841 ミリ秒(00:23.779)
時間: 23334.723 ミリ秒(00:23.335)
時間: 22482.310 ミリ秒(00:22.482)
時間: 22902.959 ミリ秒(00:22.903)
時間: 24149.205 ミリ秒(00:24.149)
時間: 23687.597 ミリ秒(00:23.688)
時間: 22556.908 ミリ秒(00:22.557)
時間: 21759.851 ミリ秒(00:21.760)
時間: 22791.850 ミリ秒(00:22.792)
時間: 22671.322 ミリ秒(00:22.671)
時間: 33766.005 ミリ秒(00:33.766)
時間: 25482.223 ミリ秒(00:25.482)
時間: 21298.544 ミリ秒(00:21.299)
時間: 22583.934 ミリ秒(00:22.584)
時間: 23538.222 ミリ秒(00:23.538)
時間: 28002.764 ミリ秒(00:28.003)
平均
27852.8432ミリ秒
27.8528432秒
概ね30秒くらいな感じ。
【その2:入力ファイルの1行が214バイトのケース】
テキトーなデータで200万行のcsvを100個生成。1ファイルあたり平均417935KB(≒418MB)前後。
1レコードはこんな感じ
000000001,1706321329,somewhere,080-1234-5678,samplesample@gmail.com,1995-03-23,occupation,RemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarksRemarks,0,2021-02-25 12:00,2021-02-25 12:00,2021-02-25 12:00
コピーコマンドを100回実行して\timingで時間を計測。
時間: 115542.605 ミリ秒(01:55.543)
時間: 127636.930 ミリ秒(02:07.637)
時間: 121782.489 ミリ秒(02:01.782)
時間: 133952.308 ミリ秒(02:13.952)
時間: 128774.931 ミリ秒(02:08.775)
時間: 135923.052 ミリ秒(02:15.923)
時間: 128176.454 ミリ秒(02:08.176)
時間: 119482.702 ミリ秒(01:59.483)
時間: 128247.119 ミリ秒(02:08.247)
時間: 99919.888 ミリ秒(01:39.920)
時間: 35117.137 ミリ秒(00:35.117)
時間: 39395.561 ミリ秒(00:39.396)
時間: 41378.358 ミリ秒(00:41.378)
時間: 38974.689 ミリ秒(00:38.975)
時間: 38602.085 ミリ秒(00:38.602)
時間: 36185.134 ミリ秒(00:36.185)
時間: 35211.068 ミリ秒(00:35.211)
時間: 32603.558 ミリ秒(00:32.604)
時間: 33626.924 ミリ秒(00:33.627)
時間: 36224.109 ミリ秒(00:36.224)
時間: 36056.613 ミリ秒(00:36.057)
時間: 35671.201 ミリ秒(00:35.671)
時間: 35514.277 ミリ秒(00:35.514)
時間: 37277.950 ミリ秒(00:37.278)
時間: 32602.936 ミリ秒(00:32.603)
時間: 31291.279 ミリ秒(00:31.291)
時間: 33671.094 ミリ秒(00:33.671)
時間: 36047.589 ミリ秒(00:36.048)
時間: 36273.776 ミリ秒(00:36.274)
時間: 35471.068 ミリ秒(00:35.471)
時間: 46679.116 ミリ秒(00:46.679)
時間: 38912.053 ミリ秒(00:38.912)
時間: 35321.052 ミリ秒(00:35.321)
時間: 36082.012 ミリ秒(00:36.082)
時間: 36140.827 ミリ秒(00:36.141)
時間: 35730.388 ミリ秒(00:35.730)
時間: 37672.997 ミリ秒(00:37.673)
時間: 35606.522 ミリ秒(00:35.607)
時間: 35841.675 ミリ秒(00:35.842)
時間: 36012.067 ミリ秒(00:36.012)
時間: 37218.217 ミリ秒(00:37.218)
時間: 36018.942 ミリ秒(00:36.019)
時間: 53238.375 ミリ秒(00:53.238)
時間: 44388.781 ミリ秒(00:44.389)
時間: 40152.181 ミリ秒(00:40.152)
時間: 38262.307 ミリ秒(00:38.262)
時間: 37804.962 ミリ秒(00:37.805)
時間: 33646.677 ミリ秒(00:33.647)
時間: 34077.751 ミリ秒(00:34.078)
時間: 34646.247 ミリ秒(00:34.646)
時間: 34049.052 ミリ秒(00:34.049)
時間: 34437.289 ミリ秒(00:34.437)
時間: 34865.880 ミリ秒(00:34.866)
時間: 34287.504 ミリ秒(00:34.288)
時間: 34179.106 ミリ秒(00:34.179)
時間: 35892.668 ミリ秒(00:35.893)
時間: 37156.730 ミリ秒(00:37.157)
時間: 34294.562 ミリ秒(00:34.295)
時間: 31510.620 ミリ秒(00:31.511)
時間: 34790.276 ミリ秒(00:34.790)
時間: 33830.660 ミリ秒(00:33.831)
時間: 34462.443 ミリ秒(00:34.462)
時間: 33915.449 ミリ秒(00:33.915)
時間: 34090.849 ミリ秒(00:34.091)
時間: 34338.797 ミリ秒(00:34.339)
時間: 34797.931 ミリ秒(00:34.798)
時間: 33612.765 ミリ秒(00:33.613)
時間: 29144.552 ミリ秒(00:29.145)
時間: 29350.530 ミリ秒(00:29.351)
時間: 29380.755 ミリ秒(00:29.381)
時間: 29743.440 ミリ秒(00:29.743)
時間: 29282.460 ミリ秒(00:29.282)
時間: 29316.989 ミリ秒(00:29.317)
時間: 29573.592 ミリ秒(00:29.574)
時間: 30620.478 ミリ秒(00:30.620)
時間: 29523.562 ミリ秒(00:29.524)
時間: 29042.821 ミリ秒(00:29.043)
時間: 26313.811 ミリ秒(00:26.314)
時間: 29227.524 ミリ秒(00:29.228)
時間: 29397.936 ミリ秒(00:29.398)
時間: 32032.714 ミリ秒(00:32.033)
時間: 30640.255 ミリ秒(00:30.640)
時間: 30464.846 ミリ秒(00:30.465)
時間: 30280.350 ミリ秒(00:30.280)
時間: 29608.643 ミリ秒(00:29.609)
時間: 29507.899 ミリ秒(00:29.508)
時間: 29766.148 ミリ秒(00:29.766)
時間: 29582.980 ミリ秒(00:29.583)
時間: 29451.466 ミリ秒(00:29.451)
時間: 29187.477 ミリ秒(00:29.187)
時間: 29346.355 ミリ秒(00:29.346)
時間: 29674.797 ミリ秒(00:29.675)
時間: 30314.087 ミリ秒(00:30.314)
時間: 29660.881 ミリ秒(00:29.661)
時間: 29659.481 ミリ秒(00:29.659)
時間: 29562.942 ミリ秒(00:29.563)
時間: 29358.672 ミリ秒(00:29.359)
時間: 26717.444 ミリ秒(00:26.717)
時間: 28853.424 ミリ秒(00:28.853)
時間: 158562.969 ミリ秒(02:38.563)
平均
44067.52894ミリ秒
44.06752894秒
2分以上かかっているものと、30秒足らずで終わっているものと、極端に分かれる結果。原因は不明。
参考
PCスペック
Intel corei7-8565U、16GB、Win10