お題
たまたま、WebアクセスでレスポンスとしてもらうJSONのサイズとしては大きめと思われるものを解析する要件があったため、Goでよく使うJSONパースの仕方と、一度に大きなメモリを消費しないJSONパースの仕方とを比較してみた。
開発環境
# OS - Linux(Ubuntu)
$ cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.2 LTS (Bionic Beaver)"
# 言語 - Go
$ go version
go version go1.13.3 linux/amd64
# パッケージマネージャ - Go Modules
# IDE - Goland
GoLand 2019.2.5
Build #GO-192.7142.48, built on November 8, 2019
解析対象の大きめJSON
125MBのJSONを用意。
$ ll data.json
-rw-rw-r-- 1 sky0621 sky0621 125M Dec 7 11:33 data.json
$ less data.json
{
"data": {
"items": [
{
"id": "id-0",
"name": "あいてむ0",
"price": 0,
"display": true
},
{
"id": "id-1",
"name": "あいてむ1",
"price": 1,
"display": true
},
{
"id": "id-2",
"name": "あいてむ2",
"price": 2,
"display": true
},
・
・
・
〜〜省略〜〜
・
・
・
{
"id": "id-999999",
"name": "あいてむ999999",
"price": 999999,
"display": true
}
]
}
}
■大きめJSONを一息にオンメモリ
全量は下記。
https://github.com/sky0621/tips-go/tree/ca62a52dee0455a4c413db9a0001076f029b237d/try/bigjson
ソース
[main.go]
package main
import (
"encoding/json"
"fmt"
"io/ioutil"
"log"
"time"
"github.com/pkg/profile"
)
func main() {
// 使用メモリチェック準備
defer profile.Start(profile.MemProfile, profile.ProfilePath(".")).Stop()
st := time.Now()
// 125MBのファイルを読み込み
ba, err := ioutil.ReadFile("./data.json")
if err != nil {
log.Fatal(err)
}
var bj *BigJSON
// 125MBのデータをパース
err = json.Unmarshal(ba, &bj)
if err != nil {
log.Fatal(err)
}
fmt.Printf("%f秒\n", time.Now().Sub(st).Seconds())
}
type BigJSON struct {
Data *Data
}
type Data struct {
Items []*Item
}
type Item struct {
ID string
Name string
Price int
Display bool
}
実行結果
実行
$ pwd
/home/sky0621/work/src/go111/src/github.com/sky0621/tips-go/try/bigjson
$
$ go run main.go
2019/12/07 11:45:00 profile: memory profiling enabled (rate 4096), mem.pprof
2.838153秒
2019/12/07 11:45:03 profile: memory profiling disabled, mem.pprof
結果解析
$ ll mem.pprof
-rw-rw-r-- 1 sky0621 sky0621 1.7K Dec 7 11:45 mem.pprof
出力された mem.pprof を解析
$ go tool pprof memory mem.pprof
memory: open memory: no such file or directory
Fetched 1 source profiles out of 2
File: main
Type: inuse_space
Time: Dec 7, 2019 at 11:45am (JST)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
解析結果を画像出力
(pprof) png
Generating report in profile001.png
125MBのJSONファイルを一気に読み込んでいる ioutil.ReadFile() でファイルサイズと同等のメモリ使用。
そして、そのサイズ分のJSON構造を指定の構造に変換する json.Unmarshal() で、やはりファイルサイズと同等のメモリ使用。
結果、プログラム実行中、瞬間のメモリ消費量としては MAX125MB弱、プログラム実行全体では 240MB ほどメモリを消費したという結果。
解析結果のメモリ使用上位を標準出力
(pprof) top
Showing nodes accounting for 240.77MB, 100% of 240.77MB total
Dropped 2 nodes (cum <= 1.20MB)
Showing top 10 nodes out of 17
flat flat% sum% cum cum%
124.62MB 51.76% 51.76% 124.62MB 51.76% bytes.makeSlice
46.08MB 19.14% 70.90% 46.08MB 19.14% reflect.New
45.97MB 19.09% 89.99% 45.97MB 19.09% encoding/json.(*decodeState).literalStore
24.09MB 10.01% 100% 24.09MB 10.01% reflect.unsafe_NewArray
0 0% 100% 124.62MB 51.76% bytes.(*Buffer).Grow
0 0% 100% 124.62MB 51.76% bytes.(*Buffer).grow
0 0% 100% 116.15MB 48.24% encoding/json.(*decodeState).array
0 0% 100% 116.15MB 48.24% encoding/json.(*decodeState).object
0 0% 100% 116.15MB 48.24% encoding/json.(*decodeState).unmarshal
0 0% 100% 116.15MB 48.24% encoding/json.(*decodeState).value
(pprof)
■大きめJSONを順繰りパース
ソース
全量は下記。
https://github.com/sky0621/tips-go/tree/ca62a52dee0455a4c413db9a0001076f029b237d/try/bigjson2
[main.go]
package main
import (
"encoding/json"
"fmt"
"log"
"os"
"time"
"github.com/pkg/profile"
)
func main() {
// 使用メモリチェック準備
defer profile.Start(profile.MemProfile, profile.ProfilePath(".")).Stop()
st := time.Now()
f, err := os.Open("./data.json")
if err != nil {
log.Fatal(err)
}
defer func() {
if err := f.Close(); err != nil {
log.Fatal(err)
}
}()
dec := json.NewDecoder(f)
bj := &BigJSON{}
// 以下のJSON構造をトークン毎（「 { 」、「 "data" 」、「 { 」、「 "items" 」、「 [ 」、・・・）に辿る。
// ★「 [ 」以降は Item 構造体にパースするObject構造が複数続くので、後続の dec.Decode() に任せる。
// {
// "data": {
// "items": [
// {
// "id": "id-0",
// "name": "あいてむ0",
// "price": 0,
// "display": true
// },
// 〜〜省略〜〜
// {
// "id": "id-999999",
// "name": "あいてむ999999",
// "price": 999999,
// "display": true
// }
// ]
// }
//}
for {
t, err := dec.Token()
if err != nil {
log.Fatal(err)
}
if ele, ok := t.(string); ok {
if ele == "data" {
bj.Data = &Data{}
continue
}
if ele == "items" {
bj.Data.Items = []*Item{}
continue
}
}
if de, ok := t.(json.Delim); ok {
if de.String() == "[" {
// ここまで辿れば、後は後続の dec.Decode() に任せるため break
break
}
}
}
// ここに来た時点で、Item 構造体にパース可能なObject構造が複数続くので、ある分だけひたすらパース
for dec.More() {
var item *Item
err := dec.Decode(&item)
if err != nil {
log.Fatal(err)
}
bj.Data.Items = append(bj.Data.Items, item)
}
fmt.Printf("%f秒\n", time.Now().Sub(st).Seconds())
}
type BigJSON struct {
Data *Data
}
type Data struct {
Items []*Item
}
type Item struct {
ID string
Name string
Price int
Display bool
}
実行結果
実行
$ pwd
/home/sky0621/work/src/go111/src/github.com/sky0621/tips-go/try/bigjson2
$
$ go run main.go
2019/12/07 21:01:37 profile: memory profiling enabled (rate 4096), mem.pprof
3.356228秒
2019/12/07 21:01:40 profile: memory profiling disabled, mem.pprof
結果解析
$ ll mem.pprof
-rw-rw-r-- 1 sky0621 sky0621 1.2K Dec 7 21:01 mem.pprof
出力された mem.pprof を解析
$ go tool pprof memory mem.pprof
memory: open memory: no such file or directory
Fetched 1 source profiles out of 2
File: main
Type: inuse_space
Time: Dec 7, 2019 at 9:01pm (JST)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
解析結果を画像出力
(pprof) png
Generating report in profile001.png
(pprof)
125MBのJSONファイルを一気に読み込むのではなく、同一構造体の繰り返しである Item でパースされる構造の単位でループ処理。
それにより１ループ中で 28MB ほどのメモリ使用。
プログラム実行中、瞬間のメモリ消費量としては MAX28MBほどとなり、一気に読み込む実装と比べると格段の差が出る。
解析結果のメモリ使用上位を標準出力
(pprof) top
Showing nodes accounting for 35.07MB, 100% of 35.07MB total
flat flat% sum% cum cum%
14.38MB 41.02% 41.02% 14.38MB 41.02% reflect.New
14.27MB 40.68% 81.70% 14.27MB 40.68% encoding/json.(*decodeState).literalStore
6.42MB 18.30% 100% 35.07MB 100% main.main
0 0% 100% 28.65MB 81.70% encoding/json.(*Decoder).Decode
0 0% 100% 28.65MB 81.70% encoding/json.(*decodeState).object
0 0% 100% 28.65MB 81.70% encoding/json.(*decodeState).unmarshal
0 0% 100% 28.65MB 81.70% encoding/json.(*decodeState).value
0 0% 100% 14.38MB 41.02% encoding/json.indirect
0 0% 100% 35.07MB 100% runtime.main
まとめ
大きめなJSONファイルを一気にオンメモリにすると当然ながら、そのサイズ分だけの負荷がかかる。
JSON構造に依存するものの繰り返し部分をループで順繰り処理する形に変えることでプログラム実行中の最大メモリ消費量は抑えられる。
ちなみに、pprof のヘルプを表示するといろんなコマンドがあるのがわかる。
(pprof) help
Commands:
callgrind Outputs a graph in callgrind format
comments Output all profile comments
disasm Output assembly listings annotated with samples
dot Outputs a graph in DOT format
eog Visualize graph through eog
evince Visualize graph through evince
gif Outputs a graph image in GIF format
gv Visualize graph through gv
kcachegrind Visualize report in KCachegrind
list Output annotated source for functions matching regexp
pdf Outputs a graph in PDF format
peek Output callers/callees of functions matching regexp
png Outputs a graph image in PNG format
proto Outputs the profile in compressed protobuf format
ps Outputs a graph in PS format
raw Outputs a text representation of the raw profile
svg Outputs a graph in SVG format
tags Outputs all tags in the profile
text Outputs top entries in text form
top Outputs top entries in text form
topproto Outputs top entries in compressed protobuf format
traces Outputs all profile samples in text form
tree Outputs a text rendering of call graph
web Visualize graph through web browser
weblist Display annotated source in a web browser
o/options List options and their current values
quit/exit/^D Exit pprof
Options:
call_tree Create a context-sensitive call tree
compact_labels Show minimal headers
divide_by Ratio to divide all samples before visualization
drop_negative Ignore negative differences
edgefraction Hide edges below <f>*total
focus Restricts to samples going through a node matching regexp
hide Skips nodes matching regexp
ignore Skips paths going through any nodes matching regexp
mean Average sample value over first value (count)
nodecount Max number of nodes to show
nodefraction Hide nodes below <f>*total
noinlines Ignore inlines.
normalize Scales profile based on the base profile.
output Output filename for file-based outputs
prune_from Drops any functions below the matched frame.
relative_percentages Show percentages relative to focused subgraph
sample_index Sample value to report (0-based index or name)
show Only show nodes matching regexp
show_from Drops functions above the highest matched frame.
source_path Search path for source files
tagfocus Restricts to samples with tags in range or matched by regexp
taghide Skip tags matching this regexp
tagignore Discard samples with tags in range or matched by regexp
tagshow Only consider tags matching this regexp
trim Honor nodefraction/edgefraction/nodecount defaults
trim_path Path to trim from source paths before search
unit Measurement units to display
Option groups (only set one per group):
cumulative
cum Sort entries based on cumulative weight
flat Sort entries based on own weight
granularity
addresses Aggregate at the address level.
filefunctions Aggregate at the function level.
files Aggregate at the file level.
functions Aggregate at the function level.
lines Aggregate at the source code line level.
: Clear focus/ignore/hide/tagfocus/tagignore
type "help <cmd|option>" for more information
(pprof)