cbbackup で取得したバックアップデータを sqlite で検索する

先日参加した Couchbase MeetUP Tokyo #12 で知ったのですが、cbbackup が出力するファイルを使って SQLite で検索ができるとのこと。

まずはcbbackup

$ /opt/couchbase/bin/cbbackup -b items -u Administrator -p hogemoge http://localhost:8091 /vagrant/dump

$ tree dump
dump
└── 2015-02-16T082318Z
    └── 2015-02-16T082318Z-full
        └── bucket-items
            ├── design.json
            └── node-127.0.0.1%3A8091
                ├── data-0000.cbb
                ├── failover.json
                ├── meta.json
                ├── seqno.json
                └── snapshot_markers.json

sqlite は使ったことがないので良く分からないけど、.cbb 以外は JSON ファイルしかないので・・・

$ sqlite3 data-0000.cbb 
SQLite version 3.7.13 2012-07-17 17:46:21
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> 

おお、なんか起動したっぽい。

sqlite> .tables
cbb_meta  cbb_msg

cbb_meta は単純な key/value なレイアウト。

sqlite> select key,count(*) from cbb_meta group by key;
source_bucket.json|1
source_map.json|1
source_node.json|1
start.datetime|1

cbb_msg の方はこんなレイアウトで、val に JSON が入っています。

cmd	vbucket_id	key	flg	exp	cas	meta	val	seqno	dtype	meta_size

$ sqlite3 data-0000.cbb "select val from cbb_msg limit 1" | jq '.'
{
  "id": "1584",
  "asin": "B004X2L352",
  "categories": [
    52391051
  ],
  "name": "オーガニックローカシューナッツ",
  "description": "原産国:アメリカ合衆国 内容量:227g",
  "available_hours": 0,
  "url": "http://www.amazon.jp/dp/B004X2L352/ref=asc_df_B004X2L3521162042?smid=AN1VRQENFRJN5&tag=AssocID&creative=9407&creativeASIN=B004X2L352&linkCode=df0",
  "sales_rank": 565,
  "adult_product": false,
  "images": {
    "small": {
      "width": 75,
      "height": 75,
      "unit": "pixels",
      "url": "http://ecx.images-amazon.com/images/I/513jniBDtvL._SL75_.jpg"
    },
    "large": {
      "width": 500,
      "height": 500,
      "unit": "pixels",
      "url": "http://ecx.images-amazon.com/images/I/513jniBDtvL.jpg"
    },
    "hires": {
      "width": 1000,
      "height": 1000,
      "unit": "pixels",
      "url": "http://ecx.images-amazon.com/images/I/61clJe9w-KL.jpg"
    },
    "medium": {
      "width": 160,
      "height": 160,
      "unit": "pixels",
      "url": "http://ecx.images-amazon.com/images/I/513jniBDtvL._SL160_.jpg"
    }
  },
  "identifiers": {
    "ean": "0803813051104",
    "upc": "803813051104"
  },
  "parent_asin": null,
  "keywords": {
    "feature": [
      "原産国:アメリカ合衆国",
      "内容量:227g"
    ],
    "mpn": "SF10135",
    "brand": "サンフードスーパーフーズ(Sunfood Superfoods)",
    "manufacturer": "アリエルトレーディング"
  },
  "original_price": 3024,
  "price": 3100,
  "status": "exchangeable",
  "exclusion_halls": [],
  "exclusion_companies": []
}

もっと詳しく知りたい場合はこちらをドーゾ。

cbrestoreで特定のドキュメントだけをリストアする