Blockchain 解析用ソフトウェア: BlockSci を使ってみる

この記事は、ブロックチェーン Advent Calendar 2017 の 20 日目の記事です。

概要

BlockSci というのは、Blockchain 解析用のソフトウェアです。
Blockchain を Jupyter Notebook 使って解析したいな〜というときにか〜なり便利です。

注意

インメモリデータベースなので、メモリをかなり食います。AMI をもとに、EC2 にインスタンスをサクッと立ち上げるのが良いでしょう。
公式が公開している AMI を使うと、立ち上げて ssh トンネリングするだけで Jupyter Notebook が使える状態になります。メチャクチャ楽です。
だいたい 3.5 時間後にすべてのデータが読み込まれ、クエリの処理速度が最高速に達します。

導入

Readme にある最新の AMI を元に EC2 インスタンスを立ち上げます。
2017/12/19 現在では ami-7cf38706 が最新となっています。
メモリ領域が 60GB 以上あることが期待されており, r4.2xlarge が推奨されています。

r4.2xlarge は $0.532 / hour なので, スポットインスタンス使わず一ヶ月回すと $383.04 程度かかります。

自分もこの記事のために昨日から回していて、$10 が失われました。
立ち上がると, Jupyter Notebook も起きているので,

ssh -i .ssh/your_private_key.pem -N -L 8888:localhost:8888 ubuntu@your_url.amazonaws.com

したら localhost:8888 へ見に行くだけです。

利用例

事前準備

import blocksci
import matplotlib.pyplot as plt
import matplotlib.ticker
import collections
import pandas as pd
import numpy as np
%matplotlib notebook

# parser_data_directory should be set to the data-directory which the blocksci_parser output
chain = blocksci.Blockchain("/home/ubuntu/bitcoin/")

Class: Block

ref: https://citp.github.io/BlockSci/chain/block.html

# 最新の block を取得
recent_block = chain[len(chain) - 1]
# coinbase
recent_block.coinbase_tx
# hash: ハッシュ
print("hash is", recent_block.hash)
#  height: ブロック高さ
print("height is", recent_block.height)
# input_count: ブロックに含まれるトランザクションインプットの数
print("input count is", recent_block.input_count)
# input_value: ブロックに含まれるトランザクションインプットに含まれる satoshi の総数
print("input value is", recent_block.input_value)
#  inputs: ブロックに含まれるトランザクションインプットを取得
recent_block.inputs
#  net_address_type_value: Returns a set of the net change in the utxo pool after this block split up by address type
print("net_address_type_value is", recent_block.net_address_type_value)
# net_full_type_value(self: blocksci.blocksci_interface.Block)
print("net_full_type_value", recent_block.net_full_type_value)
# next_block: 次のブロック
recent_block.next_block
# nonce: nonce の数値
print("nonce is", recent_block.nonce)
# output_count: ブロックに含まれるトランザクションアウトプットの数
print("output count is", recent_block.output_count)
# output_value: ブロックに含まれるトランザクションアウトプットに含まれる satoshi の総数
print("output value is", recent_block.output_value)
# outsputs: ブロックに含まれるトランザクションアウトプットを取得
recent_block.outputs
# prev_block: 前のブロック
recent_block.prev_block
# size_bytes: ブロックサイズ
print("size bytes is", recent_block.size_bytes)
# time: タイム
print("time is", recent_block.time)
# timestamp: ブロックヘッダのタイムスタンプ
print("timestamp is", recent_block.timestamp)
# total_spent_of_ages: Returns a list of sum of all the outputs in the block that were spent within a certain of blocks, up to the max age given
print("total_spent_of_ages is", recent_block.total_spent_of_ages)
# txes: ブロックに含まれるトランザクションを取得
recent_block.txes
# version: ブロックヘッダのプロトコルバージョン
print("version is", recent_block.version)

hash is 0000000000000000006271a8c189b9591ad06a369e29d24dbe25e6a1819d6cee
height is 498919
input count is 4913
input value is 1290872675640
net_address_type_value is <bound method PyCapsule.net_address_type_value of Block(numTxes=3031, height=498919, header_hash=0000000000000000006271a8c189b9591ad06a369e29d24dbe25e6a1819d6cee, version=536870912, timestamp=1513094055, bits=402698477, nonce=231235938)>
net_full_type_value <bound method PyCapsule.net_full_type_value of Block(numTxes=3031, height=498919, header_hash=0000000000000000006271a8c189b9591ad06a369e29d24dbe25e6a1819d6cee, version=536870912, timestamp=1513094055, bits=402698477, nonce=231235938)>
nonce is 231235938
output count is 6720
output value is 1292122675640
size bytes is 1050481
time is 2017-12-12 15:54:15
timestamp is 1513094055
total_spent_of_ages is <bound method PyCapsule.total_spent_of_ages of Block(numTxes=3031, height=498919, header_hash=0000000000000000006271a8c189b9591ad06a369e29d24dbe25e6a1819d6cee, version=536870912, timestamp=1513094055, bits=402698477, nonce=231235938)>
version is 536870912

CurrencyConverter

converter = blocksci.CurrencyConverter()
converter.satoshi_to_currency(100, recent_block.time.date())

0.0171781025

サンプル

手数料のヒストグラム

USD_JPY_RATE = 112
fees = [converter.satoshi_to_currency(fee, recent_block.time) * USD_JPY_RATE for fee in recent_block.txes.fee]

plt.hist(fees, bins=20, range=(0, 6000))

(array([   6.,    8.,   20.,  217.,  870.,  897.,  464.,  126.,   22.,
         137.,   39.,   21.,   54.,   11.,   12.,   21.,   18.,   14.,
          10.,    4.]),
 array([    0.,   300.,   600.,   900.,  1200.,  1500.,  1800.,  2100.,
         2400.,  2700.,  3000.,  3300.,  3600.,  3900.,  4200.,  4500.,
         4800.,  5100.,  5400.,  5700.,  6000.]),
 <a list of 20 Patch objects>)

トランザクションから手数料などを取り出してみる

all_tx = recent_block.txes.all
sample_tx = all_tx[1]
# https://blockchain.info/ja/tx/4fe8cca3318ac086eaf4dcb3958dbd1db324b446591fdb03dbec1342e664570c
print(sample_tx.hash)
fee = sample_tx.fee
input_value = sum(sample_tx.inputs.value)
output_value = sum(sample_tx.outputs.value)
print(fee, input_value, output_value)
print(input_value - output_value == fee)
converter.satoshi_to_currency(fee, recent_block.time.date())

4fe8cca3318ac086eaf4dcb3958dbd1db324b446591fdb03dbec1342e664570c
700000 832822188 832122188
True





120.2467175

最大の手数料を探す

tx = sorted(recent_block.txes.all, key=lambda tx: - tx.fee)[0]
tx.fee

10000000

# それぞれのブロックの最大の手数料を持つ TX のリスト
txes = [sorted(block.txes.all, key=lambda tx: - tx.fee)[0] for block in chain]

fees = [tx.fee for tx in txes]
df = pd.DataFrame({"Fees":fees})
ax = df.plot(legend=False)
ax.set_ylim(ymin=0)
plt.tight_layout()

# 最大の手数料を持つ TX
tx = sorted(txes, key=lambda tx: - tx.fee)[0]

print("Maximum fee is %s JPY" % (converter.satoshi_to_currency(tx.fee, recent_block.time) * USD_JPY_RATE))
print("hash is", tx.hash)
print("time is", tx.block.time)

Maximum fee is 560332195.6279321 JPY
hash is cc455ae816e6cdafdb58d54e35d4f46d860047458eacf1c7405dc634631c570d
time is 2016-04-26 14:15:22

I smell a "Where did my money go?" moment : Bitcoin

まあこんな感じで遊べるので, 楽しい。$0.532/hour 失いながら遊んでいきましょう。