初めに

オークファンの開発部に2021年新卒入社した@isodaです。
題名の通り、独自KVSデータベースの設計と開発（実装は途中）を行いました。

経緯

通信プロトコル、ファイルシステム、バイナリなどの理解。
Goを使用した開発や1から設計を行う経験の為、研修の一環として、今回の独自KVSデータベースの設計と開発を行わせて頂きました。

通信プロトコルの設計

通信はTCPを使用し、バイナリデータでのやり取りを行います。

DBサーバーへのリクエスト
- KeyとValueを送る際に、どこまでがKeyでどこまでがValueなどを識別するために、識別文字を入れる方法もありますが、今回はバイナリセーフにしたいためKeyとValueのサイズを通信に内包する方法にしました
DBサーバーからのレスポンス
- Create/Update/Deleteの際は正常を示す値(0x00) or 異常ならエラーコード
- Readの際は正常系はリクエストのKeyに対応するValueの値 or 異常ならエラーコードが返ってくる

Create/Update(Request)

CreateとUpdateは以下のよう定義します。
Mode + KeySize + Key + ValueSize + Value

具体例：key=hoge value=fugaでcreateを行った時のイメージ

echo "\x00\x05hoge\x00\x04fuga" | hexdump -C
00000000  00 05 68 6f 67 65 00 04  66 75 67 61 0a           |..hoge..fuga.|

	開始アドレス	サイズ(byte)	値
Mode	0x00	0x01	0x00(C) or 0x02(U)
KeySize	0x01	0x01	0x01 ~ 0xFF
Key	0x02	0x01 ~ 0xFF	KeySizeの値と同じバイト数の任意の値
ValueSize	0x02 + Keyのサイズ	0x02	0x0001 ~ 0xFEFD
Value	0x04 + Keyのサイズ	0x0001 ~ 0xFEFD	ValueSizeの値と同じバイト数の任意の値

Read/Delete(Request)

ReadとDeleteは以下のよう定義します。
Mode + KeySize + Key

具体例：key=hogeでreadを行った時のイメージ

echo "\x01\x05hoge" | hexdump -C
00000000  01 05 68 6f 67 65 0a                              |..hoge.|

	開始アドレス	サイズ(byte)	値
Mode	0x00	0x01	0x01(R) or 0x03(D)
KeySize	0x01	0x01	0x01 ~ 0xFF
Key	0x02	0x01 ~ 0xFF	KeySizeの値と同じバイト数の任意の値

ファイルシステムの設計

ファイルに実際どのように、読み書きされるかを設計しました。
バイナリファイルの中身はこんなイメージです。

バイナリファイルへの読み書きはビッグエンディアン
KeyとValueとそのサイズを1つのセットとして、1ブロック0x10000byteでファイルに書き込まれる
KeyとValueも0埋めを行い固定長で保存
KeySizeに0x00が入っている場合は論理削除とする

実装

Goで実装を行なっています。

Client
- 入力した値を通信プロトコルに沿ったバイナリ形式に変換してServerへ送信
- ClientでServerから受け取ったレスポンスを表示
Server
- 受け取った値をGolangの構造体に入れて、その構造体をバイナリファイルへ読み書きする処理を行い、Clientにレスポンスを返す。

ServerのCreate処理部分のソースコード

package crud

import (
    "bytes"
    "encoding/binary"
    "fmt"
    "os"
)

func (b *Block) Create() error {

    // キーの存在確認
    bf, err := b.Read()
    if err != nil {
        return err
    }
    if bf.Ks != nil {
        return fmt.Errorf("key already exist")
    }

    buf := new(bytes.Buffer)
    var data = []interface{}{
        b.Ks,
        b.Vs,
        b.K,
        b.V,
    }

    for _, v := range data {
        err := binary.Write(buf, binary.BigEndian, v)
        if err != nil {
            fmt.Println("binary.Write failed:", err)
        }
    }

    file, err := os.OpenFile(b.Cnf.FILE.Path, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0666)
    if err != nil {
        return err
    }
    defer file.Close()

    _, err = file.Write(buf.Bytes())
    if err != nil {
        return err
    }

    err = file.Close()
    if err != nil {
        return err
    }

    return nil
}

終わりに

今回の経験を通して、設計では、どの様に通信プロトコルを定義すれば、バイナリセーフになるのか。
どの様な形でバイナリファイルに書き込みば、読み書きがしやすいかなどを考える良い機会になりました。
また設計をするのは殆ど初めての経験だったのですが、とても大変だが大切な工程であると感じました。
実装ではGoでの開発が初めてなので、戸惑うことも多かったのですが、今後業務でGoを使う機会もあるので勉強になりました。
設計でも実装でも先輩にレビューを頂いたり、レクチャーをして頂いたりしたのでスムーズに進めることができ、感謝しております。

独自KVSデータベースを作ってみた

初めに

経緯

通信プロトコルの設計

Create/Update(Request)

Read/Delete(Request)

ファイルシステムの設計

実装

終わりに