Go の msgpack ライブラリ比較

Go で msgpack を扱うには github.com/ugorji/go/codec を使っているのですが、最近 github.com/vmihailenco/msgpack を見つけてちょっとよさそうだったのでベンチマークを取ってみました。

コード

package main

import (
	"bytes"
	"os"
	"testing"
	"time"

	"github.com/ugorji/go/codec"
	"github.com/vmihailenco/msgpack"
)

type Event struct {
	Tag    string    `codec:"tag" msgpack:"tag"`
	Time   time.Time `codec:"time" msgpack:"time"`
	Record map[string]interface{}
}

var (
	mh    = &codec.MsgpackHandle{RawToString: true}
	event *Event
)

func init() {
	event = &Event{
		Tag:  "sysstat.process",
		Time: time.Now(),
		Record: map[string]interface{}{
			"pid":      12353,
			"name":     "fluxion",
			"cmd":      "fluxion -c fluxion.toml",
			"rss":      3563520,
			"vms":      11005952,
			"shared":   2666496,
			"cpu_time": 80,
		},
	}
}

func BenchmarkCodecEncode(b *testing.B) {
	buf := &bytes.Buffer{}
	enc := codec.NewEncoder(buf, mh)
	for i := 0; i < b.N; i++ {
		enc.Encode(event)
		buf.Reset()
	}
}

func BenchmarkCodecDecode(b *testing.B) {
	buf := &bytes.Buffer{}
	codec.NewEncoder(buf, mh).Encode(event)
	r := bytes.NewReader(buf.Bytes())
	b.ResetTimer()

	var ev Event
	dec := codec.NewDecoder(r, mh)
	for i := 0; i < b.N; i++ {
		dec.Decode(&ev)
		r.Seek(0, os.SEEK_SET)
	}
}

func BenchmarkMsgpackEncode(b *testing.B) {
	buf := &bytes.Buffer{}
	enc := msgpack.NewEncoder(buf)
	for i := 0; i < b.N; i++ {
		enc.Encode(event)
		buf.Reset()
	}
}

func BenchmarkMsgpackDecode(b *testing.B) {
	buf := &bytes.Buffer{}
	msgpack.NewEncoder(buf).Encode(event)
	r := bytes.NewReader(buf.Bytes())
	b.ResetTimer()

	var ev Event
	dec := msgpack.NewDecoder(r)
	for i := 0; i < b.N; i++ {
		dec.Decode(&ev)
		r.Seek(0, os.SEEK_SET)
	}
}

実行結果

$ go test -bench .
testing: warning: no tests to run
PASS
BenchmarkCodecEncode     1000000              1970 ns/op
BenchmarkCodecDecode     1000000              2543 ns/op
BenchmarkMsgpackEncode    500000              5274 ns/op
BenchmarkMsgpackDecode    500000              6793 ns/op
ok      _/Users/yoshihisa/junk/msgpack  10.761s

github.com/ugorji/go/codec の方がだいぶ速いですね。

まとめ

• github.com/ugorji/go/codec
  • 速い
  • ext type を使わずに Go の type と binary を変換する仕組みがある ※追記参照
  • ext type 対応
  • omitempty 対応
  • anonymous field のインライン化対応
• github.com/vmihailenco/msgpack
  • コードが読みやすい
  • ext type を使わずに Go の type と binary を変換する仕組みがある
  • ext type 非対応
  • omitempty 非対応
  • anonymous field のインライン化非対応

基本的には github.com/ugorji/go/codec を使うのが良さそうです。

~~github.com/vmihailenco/msgpack の方は、例えば time.Time を int64 型で表現したいけど ext type を定義したくない時とかに使えそうですね。~~ただし decode する時に型のガイドが必要になるので、interface{} 型には decode できなくなってしまいますが。

追記

ext type を使わずに Go の type と binary を相互変換する仕組みは github.com/ugorji/go/codec には無いと思っていましたが、よく見たらありました。以下のインタフェースを実装しておけばいいようです。

type binaryUnmarshaler interface {
	UnmarshalBinary(data []byte) error
}

type binaryMarshaler interface {
	MarshalBinary() (data []byte, err error)
}

time.Time はこのインタフェースを実装しているので（それに合わせて定義した？）何もしなくても Go 同士だとよしなに扱えるようです。

なお、github.com/vmihailenco/msgpack の場合は以下のインタフェースを実装します。

type encoder interface {
	EncodeMsgpack(io.Writer) error
}

type decoder interface {
	DecodeMsgpack(io.Reader) error
}