はじめに
少し前に、python でバイナリデータを読んでpacket をparse したり（PREAMBLEから読み始めてチェックサムで確認するとか）、データを読んだり(2byte を整数値にするとか）したりしました。そのとき、改めてバイナリデータの扱いを調べたので、メモ。何度も調べて、良く分かんらないまま使っていましたが、今は少しわかった気でいます。??
実際に仕事ではセンサーにコマンドを送ったり受け取ったメッセージを出コードするところを行うための実装でした。皆さんＯＳＳを使うところを、おじさんはポチポチとコードを書いて読み解いています。
bytes型 (自分の理解)
pythonで定義されている bytes 型のデータを正しく使えば、何事もなく実装ができるはず、、です。
bytes型はどこからくるか
プログラム上で変数を作ることもできますが、自分の場合、ずばり、
- binary type でfileを読んでいるとき
- socket 通信しているとき
- serial ポートからデータを読んでいるとき
です。そのとき、read/write しているのはこのbytes 型です。
In [ ]: with open("hoge.bin","rb") as f:
...: buf = f.read(4)
...: print(type(buf))
...:
<class 'bytes'>
整数値のリスト <--> bytes型
bytes 型と「整数値のリスト」は異なるものです。相互には変換可能です。（もちろん整数値は0から255に限られますが）
整数値
0から255までの整数値が1 byte を表すのはご存じのとおりです。なので、0から255までの整数値の系列（list 型)をbytes型に相互に変換できるのは分かり易いです。int() や bytes() で cast するだけです。
In [15]: aaa = [1,2,3,4,5,255]
In [16]: bytes(aaa)
Out[16]: b'\x01\x02\x03\x04\x05\xff'
In [25]: list(bytes(aaa))
Out[25]: [1, 2, 3, 4, 5, 255]
ただし、整数値は0から255の間の整数値に限られます。
In []: aaa = [1,2,3,4,5,256]
In []: bytes(aaa)
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-18-3b250851e608> in <module>
----> 1 bytes(aaa)
ValueError: bytes must be in range(0, 256)
１６進数で表記
0xff と書くとint 型になります。bytes 型にするには b'\xffと書きます。
bytes型の変数は、リストで参照するように [ ] でインデックスを指定して参照することができます。
In []: b1 = b'\xaabbcc'
In []: type(b1)
Out[]: bytes
In []: b1[0]
Out[]: 170
In []: hex(b1[0])
Out[]: '0xaa'
以下のように書いたら、変数で整数値になります。
In [15]: i1 = 0xaabbcc
In [16]: type(i1)
Out[16]: int
In [17]: i1
Out[17]: 11189196
当然、これを [ ] で参照することはできません。
In [18]: i1[0]
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-18-9726669fc462> in <module>
----> 1 i1[0]
TypeError: 'int' object is not subscriptable
これをbytes 型にするには、to_bytes で変換する必要があります。endian を指定します。
In [21]: i1.to_bytes(3, 'little')
Out[21]: b'\xcc\xbb\xaa'
In [22]: i1.to_bytes(3, 'big')
Out[22]: b'\xaa\xbb\xcc'
In [27]: i1.to_bytes(3,'big')[0]
Out[27]: 170
bytes 型とstr型
これはdecode/encode するだけです。文字コードは必要な時に指定します。
In [31]: "こんにちは".encode()
Out[31]: b'\xe3\x81\x93\xe3\x82\x93\xe3\x81\xab\xe3\x81\xa1\xe3\x81\xaf'
In [32]: b2 = "こんにちは".encode()
In [33]: b2.decode()
Out[33]: 'こんにちは'
int型とstr型(２進数、１６進数表記)
話は前後しますが、整数値は２進数や１６進数表記の文字列に変換できます。
In [37]: hex(100)
Out[37]: '0x64'
In [38]: bin(100)
Out[38]: '0b1100100'
一方で、コードに直接書けばint 型になります。
In [39]: i3 = 0x64
In [40]: i3
Out[40]: 100
In [41]: i4 = 0b1100100
In [42]: i4
Out[42]: 100
import struct
そして、最後に、float を含めて連続していろいろつまっているbytes には unpack で全てdecode させてしまう、という、とても便利な関数unpack が用意されています。素直に、docs のexample を読むのが分かり易いです。
このunpack のおかげで、かなりコードの長さが短くなった気がします。
まとめ
bytes型で入ってくるデータは、適切な処理をすることで所望の読み方をすることができた。
あと少ししたら、どうせすぐ忘れてしまうので、メモしました。TODOは今のところ無しかな。
(2021/06/30)