この記事の続き

StructTypeFormatter

さて、これが一番大変です。トランザクションやMosaicなど、フィールドが単純ではないオリジナルのモデルを活用しているStructTypeのフォーマッターです。

例えばpythonだとこんなの

class TransferTransactionV1:
	TRANSACTION_VERSION: int = 1
	TRANSACTION_TYPE: TransactionType = TransactionType.TRANSFER
	TYPE_HINTS = {
		'signature': 'pod:Signature',
		'signer_public_key': 'pod:PublicKey',
		'network': 'enum:NetworkType',
		'type_': 'enum:TransactionType',
		'fee': 'pod:Amount',
		'deadline': 'pod:Timestamp',
		'recipient_address': 'pod:UnresolvedAddress',
		'mosaics': 'array[UnresolvedMosaic]',
		'message': 'bytes_array'
	}

	def __init__(self):
		self._signature = Signature()
		self._signer_public_key = PublicKey()
		self._version = TransferTransactionV1.TRANSACTION_VERSION
		self._network = NetworkType.MAINNET
		self._type_ = TransferTransactionV1.TRANSACTION_TYPE
		self._fee = Amount()
		self._deadline = Timestamp()
		self._recipient_address = UnresolvedAddress()
		self._mosaics = []
		self._message = bytes()
		self._verifiable_entity_header_reserved_1 = 0  # reserved field
		self._entity_body_reserved_1 = 0  # reserved field
		self._transfer_transaction_body_reserved_1 = 0  # reserved field
		self._transfer_transaction_body_reserved_2 = 0  # reserved field

	def sort(self) -> None:
		self._mosaics = sorted(self._mosaics, key=lambda e: e.mosaic_id.comparer() if hasattr(e.mosaic_id, 'comparer') else e.mosaic_id)

	@property
	def signature(self) -> Signature:
		return self._signature

	@property
	def signer_public_key(self) -> PublicKey:
		return self._signer_public_key

	@property
	def version(self) -> int:
		return self._version

	@property
	def network(self) -> NetworkType:
		return self._network

	@property
	def type_(self) -> TransactionType:
		return self._type_

	@property
	def fee(self) -> Amount:
		return self._fee

	@property
	def deadline(self) -> Timestamp:
		return self._deadline

	@property
	def recipient_address(self) -> UnresolvedAddress:
		return self._recipient_address

	@property
	def mosaics(self) -> List[UnresolvedMosaic]:
		return self._mosaics

	@property
	def message(self) -> bytes:
		return self._message

	@signature.setter
	def signature(self, value: Signature):
		self._signature = value

	@signer_public_key.setter
	def signer_public_key(self, value: PublicKey):
		self._signer_public_key = value

	@version.setter
	def version(self, value: int):
		self._version = value

	@network.setter
	def network(self, value: NetworkType):
		self._network = value

	@type_.setter
	def type_(self, value: TransactionType):
		self._type_ = value

	@fee.setter
	def fee(self, value: Amount):
		self._fee = value

	@deadline.setter
	def deadline(self, value: Timestamp):
		self._deadline = value

	@recipient_address.setter
	def recipient_address(self, value: UnresolvedAddress):
		self._recipient_address = value

	@mosaics.setter
	def mosaics(self, value: List[UnresolvedMosaic]):
		self._mosaics = value

	@message.setter
	def message(self, value: bytes):
		self._message = value

	@property
	def size(self) -> int:
		size = 0
		size += 4
		size += 4
		size += self.signature.size
		size += self.signer_public_key.size
		size += 4
		size += 1
		size += self.network.size
		size += self.type_.size
		size += self.fee.size
		size += self.deadline.size
		size += self.recipient_address.size
		size += 2
		size += 1
		size += 1
		size += 4
		size += ArrayHelpers.size(self.mosaics)
		size += len(self._message)
		return size

	@classmethod
	def deserialize(cls, payload: ByteString) -> TransferTransactionV1:
		buffer = memoryview(payload)
		size_ = int.from_bytes(buffer[:4], byteorder='little', signed=False)
		buffer = buffer[4:]
		buffer = buffer[:size_ - 4]
		del size_
		verifiable_entity_header_reserved_1 = int.from_bytes(buffer[:4], byteorder='little', signed=False)
		buffer = buffer[4:]
		assert verifiable_entity_header_reserved_1 == 0, f'Invalid value of reserved field ({verifiable_entity_header_reserved_1})'
		signature = Signature.deserialize(buffer)
		buffer = buffer[signature.size:]
		signer_public_key = PublicKey.deserialize(buffer)
		buffer = buffer[signer_public_key.size:]
		entity_body_reserved_1 = int.from_bytes(buffer[:4], byteorder='little', signed=False)
		buffer = buffer[4:]
		assert entity_body_reserved_1 == 0, f'Invalid value of reserved field ({entity_body_reserved_1})'
		version = int.from_bytes(buffer[:1], byteorder='little', signed=False)
		buffer = buffer[1:]
		network = NetworkType.deserialize(buffer)
		buffer = buffer[network.size:]
		type_ = TransactionType.deserialize(buffer)
		buffer = buffer[type_.size:]
		fee = Amount.deserialize(buffer)
		buffer = buffer[fee.size:]
		deadline = Timestamp.deserialize(buffer)
		buffer = buffer[deadline.size:]
		recipient_address = UnresolvedAddress.deserialize(buffer)
		buffer = buffer[recipient_address.size:]
		message_size = int.from_bytes(buffer[:2], byteorder='little', signed=False)
		buffer = buffer[2:]
		mosaics_count = int.from_bytes(buffer[:1], byteorder='little', signed=False)
		buffer = buffer[1:]
		transfer_transaction_body_reserved_1 = int.from_bytes(buffer[:1], byteorder='little', signed=False)
		buffer = buffer[1:]
		assert transfer_transaction_body_reserved_1 == 0, f'Invalid value of reserved field ({transfer_transaction_body_reserved_1})'
		transfer_transaction_body_reserved_2 = int.from_bytes(buffer[:4], byteorder='little', signed=False)
		buffer = buffer[4:]
		assert transfer_transaction_body_reserved_2 == 0, f'Invalid value of reserved field ({transfer_transaction_body_reserved_2})'
		mosaics = ArrayHelpers.read_array_count(buffer, UnresolvedMosaic, mosaics_count, lambda e: e.mosaic_id.comparer() if hasattr(e.mosaic_id, 'comparer') else e.mosaic_id)
		buffer = buffer[ArrayHelpers.size(mosaics):]
		message = ArrayHelpers.get_bytes(buffer, message_size)
		buffer = buffer[message_size:]

		instance = TransferTransactionV1()
		instance._signature = signature
		instance._signer_public_key = signer_public_key
		instance._version = version
		instance._network = network
		instance._type_ = type_
		instance._fee = fee
		instance._deadline = deadline
		instance._recipient_address = recipient_address
		instance._mosaics = mosaics
		instance._message = message
		return instance

	def serialize(self) -> bytes:
		buffer = bytes()
		buffer += self.size.to_bytes(4, byteorder='little', signed=False)
		buffer += self._verifiable_entity_header_reserved_1.to_bytes(4, byteorder='little', signed=False)
		buffer += self._signature.serialize()
		buffer += self._signer_public_key.serialize()
		buffer += self._entity_body_reserved_1.to_bytes(4, byteorder='little', signed=False)
		buffer += self._version.to_bytes(1, byteorder='little', signed=False)
		buffer += self._network.serialize()
		buffer += self._type_.serialize()
		buffer += self._fee.serialize()
		buffer += self._deadline.serialize()
		buffer += self._recipient_address.serialize()
		buffer += len(self._message).to_bytes(2, byteorder='little', signed=False)  # message_size
		buffer += len(self._mosaics).to_bytes(1, byteorder='little', signed=False)  # mosaics_count
		buffer += self._transfer_transaction_body_reserved_1.to_bytes(1, byteorder='little', signed=False)
		buffer += self._transfer_transaction_body_reserved_2.to_bytes(4, byteorder='little', signed=False)
		buffer += ArrayHelpers.write_array(self._mosaics, lambda e: e.mosaic_id.comparer() if hasattr(e.mosaic_id, 'comparer') else e.mosaic_id)
		buffer += self._message
		return buffer

	def __str__(self) -> str:
		result = '('
		result += f'signature: {self._signature.__str__()}, '
		result += f'signer_public_key: {self._signer_public_key.__str__()}, '
		result += f'version: 0x{self._version:X}, '
		result += f'network: {self._network.__str__()}, '
		result += f'type_: {self._type_.__str__()}, '
		result += f'fee: {self._fee.__str__()}, '
		result += f'deadline: {self._deadline.__str__()}, '
		result += f'recipient_address: {self._recipient_address.__str__()}, '
		result += f'mosaics: {list(map(str, self._mosaics))}, '
		result += f'message: {hexlify(self._message).decode("utf8")}, '
		result += ')'
		return result

これをdartでは

class TransferTransactionV1 implements ISerializable, ITransaction {
  static const int TRANSACTION_VERSION = 1;
  static final TransactionType TRANSACTION_TYPE = TransactionType(TransactionType.TRANSFER.value);

  static const Map<String, String> TYPE_HINTS = {
  	'signature': 'pod:Signature',
  	'signerPublicKey': 'pod:PublicKey',
  	'network': 'enum:NetworkType',
  	'type': 'enum:TransactionType',
  	'fee': 'pod:Amount',
  	'deadline': 'pod:Timestamp',
  	'recipientAddress': 'pod:UnresolvedAddress',
  	'mosaics': 'array[UnresolvedMosaic]',
  	'message': 'bytes_array'
  };

  @override
  late Signature signature = Signature();
  @override
  late PublicKey signerPublicKey = PublicKey();
  @override
  late int version;
  late NetworkType network = NetworkType.MAINNET;
  @override
  late TransactionType type;
  late Amount fee = Amount();
  late Timestamp deadline = Timestamp();
  late UnresolvedAddress recipientAddress = UnresolvedAddress();
  late List<UnresolvedMosaic> mosaics = [];
  late Uint8List message = Uint8List(0);
  final int verifiableEntityHeaderReserved_1 = 0; // reserved field
  final int entityBodyReserved_1 = 0; // reserved field
  final int transferTransactionBodyReserved_1 = 0; // reserved field
  final int transferTransactionBodyReserved_2 = 0; // reserved field

  TransferTransactionV1({ 
  Signature? signature,
  PublicKey? signerPublicKey,
  int? version,
  NetworkType? network,
  TransactionType? type,
  Amount? fee,
  Timestamp? deadline,
  UnresolvedAddress? recipientAddress,
  List<UnresolvedMosaic>? mosaics,
  Uint8List? message
  }) {
  	this.signature = signature ?? Signature();
  	this.signerPublicKey = signerPublicKey ?? PublicKey();
  	this.version = version ?? TransferTransactionV1.TRANSACTION_VERSION;
  	this.network = network ?? NetworkType.MAINNET;
  	this.type = type ?? TransferTransactionV1.TRANSACTION_TYPE;
  	this.fee = fee ?? Amount();
  	this.deadline = deadline ?? Timestamp();
  	this.recipientAddress = recipientAddress ?? UnresolvedAddress();
  	this.mosaics = mosaics ?? [];
  	this.message = message ?? Uint8List(0);
  }

  @override
  void sort() {
  	mosaics.sort((lhs, rhs) {
  		return ArrayHelpers.deepCompare(ArrayHelpers.getValue(lhs.mosaicId), ArrayHelpers.getValue(rhs.mosaicId));
  	});
  }

  @override
  int get size {
  	var size = 0;
  	size += 4;
  	size += 4;
  	size += signature.size;
  	size += signerPublicKey.size;
  	size += 4;
  	size += 1;
  	size += network.size;
  	size += type.size;
  	size += fee.size;
  	size += deadline.size;
  	size += recipientAddress.size;
  	size += 2;
  	size += 1;
  	size += 1;
  	size += 4;
  	size += ArrayHelpers.size(mosaics);
  	size += message.lengthInBytes;
  	return size;
  }

  @override
  TransferTransactionV1 deserialize(Uint8List payload) {
  	var buffer = payload;
  	var size = bytesToInt(buffer.sublist(0, 4), 4);
  	buffer = buffer.sublist(0, size);
  	buffer = buffer.sublist(4);
  	var verifiableEntityHeaderReserved_1 = bytesToInt(buffer.sublist(0, 4), 4);
  	buffer = buffer.sublist(4);
  	if (0 != verifiableEntityHeaderReserved_1) {
  		throw RangeError('Invalid value of reserved field ($verifiableEntityHeaderReserved_1)');
  	}
  	var signature = Signature().deserialize(buffer);
  	buffer = buffer.sublist(signature.size);
  	var signerPublicKey = PublicKey().deserialize(buffer);
  	buffer = buffer.sublist(signerPublicKey.size);
  	var entityBodyReserved_1 = bytesToInt(buffer.sublist(0, 4), 4);
  	buffer = buffer.sublist(4);
  	if (0 != entityBodyReserved_1) {
  		throw RangeError('Invalid value of reserved field ($entityBodyReserved_1)');
  	}
  	var version = bytesToInt(buffer.sublist(0, 1), 1);
  	buffer = buffer.sublist(1);
  	var network = NetworkType().deserialize(buffer);
  	buffer = buffer.sublist(network.size);
  	var type = TransactionType().deserialize(buffer);
  	buffer = buffer.sublist(type.size);
  	var fee = Amount().deserialize(buffer);
  	buffer = buffer.sublist(fee.size);
  	var deadline = Timestamp().deserialize(buffer);
  	buffer = buffer.sublist(deadline.size);
  	var recipientAddress = UnresolvedAddress().deserialize(buffer);
  	buffer = buffer.sublist(recipientAddress.size);
  	var messageSize = bytesToInt(buffer.sublist(0, 2), 2);
  	buffer = buffer.sublist(2);
  	var mosaicsCount = bytesToInt(buffer.sublist(0, 1), 1);
  	buffer = buffer.sublist(1);
  	var transferTransactionBodyReserved_1 = bytesToInt(buffer.sublist(0, 1), 1);
  	buffer = buffer.sublist(1);
  	if (0 != transferTransactionBodyReserved_1) {
  		throw RangeError('Invalid value of reserved field ($transferTransactionBodyReserved_1)');
  	}
  	var transferTransactionBodyReserved_2 = bytesToInt(buffer.sublist(0, 4), 4);
  	buffer = buffer.sublist(4);
  	if (0 != transferTransactionBodyReserved_2) {
  		throw RangeError('Invalid value of reserved field ($transferTransactionBodyReserved_2)');
  	}
  	var mosaics = ArrayHelpers.readArrayCount(buffer, UnresolvedMosaic(), mosaicsCount, (e) { return ArrayHelpers.getValue(e.mosaicId);}).map((item) => item as UnresolvedMosaic).toList();
  	buffer = buffer.sublist(ArrayHelpers.size(mosaics));
  	var message = Uint8List.fromList(buffer.sublist(0, messageSize));
  	buffer = buffer.sublist(messageSize);

  	var instance = TransferTransactionV1(
  		signature: signature,
  		signerPublicKey: signerPublicKey,
  		version: version,
  		network: network,
  		type: type,
  		fee: fee,
  		deadline: deadline,
  		recipientAddress: recipientAddress,
  		mosaics: mosaics,
  		message: message,
  	);
  	return instance;
  }

  @override
  Uint8List serialize() {
  	var buffer = Uint8List(size);
  	var currentPos = 0;
  	buffer.setRange(currentPos, currentPos + 4, intToBytes(size, 4));
  	currentPos += 4;
  	buffer.setRange(currentPos, currentPos + 4, intToBytes(verifiableEntityHeaderReserved_1, 4));
  	currentPos += 4;
  	buffer.setRange(currentPos, currentPos + signature.size, signature.serialize());
  	currentPos += signature.size;
  	buffer.setRange(currentPos, currentPos + signerPublicKey.size, signerPublicKey.serialize());
  	currentPos += signerPublicKey.size;
  	buffer.setRange(currentPos, currentPos + 4, intToBytes(entityBodyReserved_1, 4));
  	currentPos += 4;
  	buffer.setRange(currentPos, currentPos + 1, intToBytes(version, 1));
  	currentPos += 1;
  	buffer.setRange(currentPos, currentPos + network.size, network.serialize());
  	currentPos += network.size;
  	buffer.setRange(currentPos, currentPos + type.size, type.serialize());
  	currentPos += type.size;
  	buffer.setRange(currentPos, currentPos + fee.size, fee.serialize());
  	currentPos += fee.size;
  	buffer.setRange(currentPos, currentPos + deadline.size, deadline.serialize());
  	currentPos += deadline.size;
  	buffer.setRange(currentPos, currentPos + recipientAddress.size, recipientAddress.serialize());
  	currentPos += recipientAddress.size;
  	buffer.setRange(currentPos, currentPos + 2, intToBytes(message.length, 2));
  	currentPos += 2;
  	buffer.setRange(currentPos, currentPos + 1, intToBytes(mosaics.length, 1));
  	currentPos += 1;
  	buffer.setRange(currentPos, currentPos + 1, intToBytes(transferTransactionBodyReserved_1, 1));
  	currentPos += 1;
  	buffer.setRange(currentPos, currentPos + 4, intToBytes(transferTransactionBodyReserved_2, 4));
  	currentPos += 4;
  	sort();
  	var res_mosaics = ArrayHelpers.writeArray(buffer, mosaics, currentPos, (e) { return ArrayHelpers.getValue(e.mosaicId);});
  	currentPos = res_mosaics.item2;
  	buffer = res_mosaics.item1;
  	buffer.setRange(currentPos, currentPos + message.lengthInBytes, message);
  	currentPos += message.lengthInBytes;
  	return buffer;
  }

  @override
  String toString() {
  	var result = 'TransferTransactionV1(';
  	result += 'signature: "${signature.toString()}", ';
  	result += 'signerPublicKey: "${signerPublicKey.toString()}", ';
  	result += 'version: "0x${intToHex(version)}", ';
  	result += 'network: "${network.toString()}", ';
  	result += 'type: "${type.toString()}", ';
  	result += 'fee: "${fee.toString()}", ';
  	result += 'deadline: "${deadline.toString()}", ';
  	result += 'recipientAddress: "${recipientAddress.toString()}", ';
  	result += 'mosaics: "${mosaics.map((e) => e.toString()).toList()}", ';
  	result += 'message: "${bytesToHex(message)}", ';
  	result += ')';
  	return result;
  }
}

こうします。（作成しながら何度も変わってます。結局公開できてからこの記事を書くことにしました。）
例のごとくStructTypeFormatterから始めます。

ちなみにこのSDKはSymbolとNEMの両対応を前提としています。ただ、NEMに対応するために色々と修正すべき点が増えるので、本記事ではSymbolに関してのみにしようと思います。今後、要望があればNEMにも対応していきます。

def is_transaction(self):
    return True if 'Transaction' in self.struct.name and 'Statement' not in self.struct.name and not self.is_inner_transaction() else False

def is_inner_transaction(self):
    return True if 'Embedded' in self.struct.name or 'NonVerifiable' in self.struct.name else False

def get_interface(self):
    return ', ITransaction' if self.is_transaction() else ', IInnerTransaction' if self.is_inner_transaction() else ''

Structタイプはトランザクションとそうでないものがあります。言語によっては継承などが必要になるので、dartではStructタイプのクラス名にTransactionが含まれていればITransactionを、Embeddedが含まれていればIInnerTransactionを継承するようにしました。

/symbol/sdk/dart/symbol_sdk/lib/models/IInnerTransaction.dart

import 'dart:typed_data';
import '../models/ISerializable.dart';

interface class IInnerTransaction implements ISerializable {
  @override
  Uint8List serialize(){
    throw UnimplementedError('unimplement serialize');
  }
  @override
  dynamic deserialize(Uint8List payload){
    throw UnimplementedError('unimplement deserialize');
  }
  @override
  int get size{
    throw UnimplementedError('unimplement size');
  }
  void sort(){
    throw UnimplementedError('unimplement sort');
  }
}

/symbol/sdk/dart/symbol_sdk/lib/symbol/ITransaction.dart

import '../models/IInnerTransaction.dart';
import './models.dart';
import 'dart:typed_data';

interface class ITransaction implements IInnerTransaction {
  Signature signature = Signature();
  PublicKey signerPublicKey = PublicKey();
  TransactionType type = TransactionType.TRANSFER;
  int version = 0;

  @override
  int get size{
    throw UnimplementedError('unimplement size');
  }
  @override
  dynamic deserialize(Uint8List payload){
    throw UnimplementedError('unimplement deserialize');
  }
  @override
  Uint8List serialize(){
    throw UnimplementedError('unimplement serialize');
  }
  @override
  void sort(){
    throw UnimplementedError('unimplement sort');
  }
}

フィールド

フィールドについては大きく分けて4種類

def generate_const_field(field):
    modifier = field.extensions.printer.modifier()
    default_value = field.extensions.printer.assign(field.value)
    return f'static {modifier} {field.extensions.printer.get_type()} {field.name} = {default_value};'

def generate_non_reserved_field(self, field):
    const_field = self.get_paired_const_field(field)
    field_name = self.field_name(field)
    class_name = 'late ' + self.re_name(field.extensions.printer.get_type())
    body = f'{class_name} {field_name};\n'
    if const_field:
        return '@override\n' + body if self.is_transaction() and self.has_field_override(field_name) else body
    else:
        if self.is_nullable_field(field):
            return f'{class_name}? {field_name};\n'
        else:
            return '@override\n' + body if self.is_transaction() and self.has_field_override(field_name) else body

def generate_reserved_field(self, field):
    field_name = self.field_name(field)
    value = field.value
    return f'final {field.extensions.printer.get_type()} {field_name} = {value}; // reserved field\n'

def generate_type_hints(self):
    body = '\n'
    body += 'static const Map<String, String> TYPE_HINTS = {\n'
    hints = []
    for field in self.non_reserved_fields():
        if not field.extensions.printer.type_hint:
            continue

        hints.append(f'\'{field.extensions.printer.name}\': \'{field.extensions.printer.type_hint}\'')

    body += indent(',\n'.join(hints))
    body += '};\n'
    return body

これらをここで一気に出力してます。

def get_fields(self):
	return list(map(self.generate_const_field, self.const_fields())) + list(map(self.generate_non_reserved_field, self.non_reserved_fields())) + list(map(self.generate_reserved_field, self.reserved_fields())) + [self.generate_type_hints()]

ここは結構重要なところで、言語によって大きく変わると思います。最後のhintsはあまり気にしなくていいのですが他は完成を先に決めてから逆算してどう出力させたいかを調整します。

コンストラクタ

def get_ctor_descriptor(self):
    args = []
    body = ''
    for field in self.non_reserved_fields():
        arg_name = self.field_name(field, is_argument=True)
        args.append(f'{self.re_name(field.extensions.printer.get_type())}? {arg_name}') if not self.is_fields_one() else args.append(f'[{arg_name}]')

        const_field = self.get_paired_const_field(field)
        field_name = self.field_name(field)

        if const_field:
            body += f'this.{field_name} = {arg_name} ?? {self.typename}.{const_field.name};\n'
        else:
            # needs to be null or else field will not be destination when copying descriptor properties
            value = 'null' if self.is_nullable_field(field) else field.extensions.printer.get_default_value()
            body += f'this.{field_name} = {arg_name} ?? {value};\n'

    return MethodDescriptor(body=body, arguments=args)

pythonやjsではコンストラクタに引数を持っていませんが、dartでは引数に名前をつけることが出来たので工夫して、このようにしました。そのため、このように扱うことができます

var tx = TransferTransactionV1(
    network: NetworkType.TESTNET,
    deadline: Timestamp(facade.network.fromDatetime(DateTime.now().toUtc()).addHours(2).timestamp),
    signerPublicKey: PublicKey(keyPair.publicKey.bytes),
    recipientAddress: UnresolvedAddress('TA5LGYEWS6L2WYBQ75J2DGK7IOZHYVWFWRLOFWI'),
    message: utf8ToBytes('Hello, Symbol!!'),
    mosaics: [UnresolvedMosaic(mosaicId: UnresolvedMosaicId('56148181AF8A6CFC'), amount: Amount(1))],
  );

get_comparer_descriptor,generate_condition,get_sort_descriptorは割愛しますが、多少の修正は必要だと思います。

デシリアライズ

def generate_deserialize_field(self, field, arg_buffer_name=None):
    condition = self.generate_condition(field)

    buffer_name = arg_buffer_name or 'buffer'
    field_name = field.extensions.printer.name
    field_name_ = field_name if condition else 'var ' + field_name

    # half-hack: limit buffer to amount specified in size field
    buffer_load_name = buffer_name
    size_fields = field.extensions.size_fields
    if size_fields:
        assert len(size_fields) == 1, f'unexpected number of size_fields associated with {field.name}'
        buffer_load_name = 'buffer'

    adjust = ''
    field_size = field.extensions.printer.advancement_size()
    if field.display_type == DisplayType.TYPED_ARRAY:
        load = f'{field.extensions.printer.load(buffer_load_name)}'
        adjust += f'{buffer_name} = {buffer_name}.sublist({lang_field_name(field_size)});\n'
    else:
        field_size = field.extensions.printer.advancement_size()
        if field.display_type == DisplayType.INTEGER:
            buffer_load_name = 'buffer'
        elif field.display_type == DisplayType.BYTE_ARRAY:
            buffer_load_name = f'buffer.sublist(0, {lang_field_name(field.size)})'
            field_size = lang_field_name(field.size)
        load = field.extensions.printer.load(buffer_load_name)
        if self.struct.size == field.extensions.printer.name:
            adjust += f'{buffer_name} = {buffer_name}.sublist(0, size);\n'	
        adjust += f'{buffer_name} = {buffer_name}.sublist({field_size});\n'
    deserialize = f'{field_name_} = {load};'

    additional_statements = ''
    if is_reserved(field):
        assert_message = f'throw RangeError(\'Invalid value of reserved field (${field.extensions.printer.name})\');'
        additional_statements = f'if ({field.value} != {field.extensions.printer.name}) {{\n\t{assert_message}\n}}\n'

    if is_bound_size(field) and field.is_size_reference:
        additional_statements += '//marking sizeof field\n'

    deserialize_field = deserialize + '\n' + adjust + additional_statements

    value = '0' if field.extensions.printer.get_type() == 'Uint8List' else ''
    if condition:
        condition = f'var {field.extensions.printer.name} = null;\n' + condition

    return indent_if_conditional(condition, deserialize_field)

結構ややこしいところです。デシリアライズを順に進めますが書くフィールドのタイプによって制御を変えます。何度もビルドして修正すれば徐々に理解が進みます。
bufferを読めばポイントが先に進むライブラリがあればいいのですが無い場合は(多分dartは無理だった)バイナリを読み込んだらそのサイズ分進めてあげます。それがadjustのあたりです。

ここではタイプなどで制御を変えますが読み込み箇所はプリンターのload()に任せます。※プリンターは後ほど

シリアライズ

デシリアライズと反対です

def generate_serialize_field(self, field):
    condition = self.generate_condition(field, True)

    field_value = ''
    field_comment = ''

    # bound fields are the size / count / sizeof fields that are bound to either object or array
    bound_field = field.extensions.bound_field
    if is_bound_size(field):
        bound_field_name = self.field_name(bound_field)
        field_comment = f'  # {field.name}'

        if bound_field.display_type.is_array:
            if field.name.endswith('_count') or not bound_field.field_type.is_byte_constrained:
                field_value = f'{bound_field_name}.length'

                bound_condition = self.generate_condition(bound_field, True)
                if condition and bound_condition:
                    raise RuntimeError('do not know yet how to generate both conditions')

                # HACK: create inline if condition (for NEM namespace purposes)
                if bound_condition:
                    condition_value = bound_field.value.value
                    field_value = f'({bound_field_name} != null ? {field_value.replace(".", "!.")} : {condition_value})'
            else:
                field_value = bound_field.extensions.printer.get_size()
        elif field.is_size_reference:
            field_value = bound_field.extensions.printer.get_size()
    else:
        field_value = self.field_name(field)

    adjust = ''
    serialize_field = f'{field.extensions.printer.store(field_value, "currentPos")}'
    if field.display_type == DisplayType.TYPED_ARRAY:

        serialize_field = f'sort();\nvar res_{field.extensions.printer.name} = {serialize_field}'
        adjust = f'currentPos = res_{field_value}.item2;\n'
        adjust += f'buffer = res_{field_value}.item1;\n'
    else:
        size = field.extensions.printer.get_size()
        adjust = f'currentPos += {size};\n'
        if self.is_nullable_field(field):
            adjust = f'currentPos += {size.replace(".", "!.")};\n'
            serialize_field = f'{field.extensions.printer.store(field_value + "!", "currentPos")}'
        
    return indent_if_conditional(condition, f'{serialize_field};\n{adjust}')

同じく書き込み用のライブラリがポインタを先に進めなければadjustで調整する
書き込みはプリンターのstore()で。

シリアライズ、デシリアライズはそれぞれフィールド用のメソッドとガワを作るdescriptorがあります。

サイズ

同じくサイズにもそれぞれあります

def generate_size_field(self, field):
    condition = self.generate_condition(field, True)
    size_field = field.extensions.printer.get_size()
    if self.is_nullable_field(field):
        size_field = size_field.replace(".", "!.")

    return indent_if_conditional(condition, f'size += {size_field};\n')

def get_size_descriptor(self):
    body = 'var size = 0;\n'
    body += ''.join(map(self.generate_size_field, self.non_const_fields()))
    body += 'return size;'
    annotations = ''
    return MethodDescriptor(body=body, annotations=annotations)

ゲッター、セッター

dartの場合はフィールドでゲッターセッターをまとめました。言語によってはできない場合もあると思います。（dartも最初は両方用意してたけどスッキリするためにまとめた）

create_getter_descriptorでメソッドの構造を作ってget_getter_descriptorsで生成します。

def get_getter_descriptors(self):
	return list(map(self.create_getter_descriptor, self.computed_fields()))

mapの第一引数がディスクリプタで第二引数でゲッターを作成したいフィールドを渡します。上はNEM用でNEMだけcomputedというフィールドでゲッターを作成しました

プリンター

さて、プリンターに進みます。
Structタイプのシリアライズ、デシリアライズではその構造体が持つフィールドのシリアライズ、デシリアライズを行いますが、そのフィールドがIntやArrayタイプの場合はそちらのプリンターが仕事をしてくれます。

そうじゃない場合の残りは２つで、TypedArrayPrinterとBuiltinPrinterです。前者はmosaicsやtransactionsなどのようにそれ自体が配列の場合のプリンター、後者はStructタイプとEnumタイプのフィールド用のプリンターです

TypedArrayPrinter

コードを書くと長くなるのでそれはリポジトリでも見てもらうとして、ここではarrayHelpersで用意した関数の説明にしてみます。
デシリアライズは読み込み(read)、シリアライズは書き込み(write)です。

読み

readArrayImpl(readArray, readArrayCount)
readVariableSizeElements

書き

writeArrayImpl(writeArray, writeArrayCount)
writeVariableSizeElements

ざくっと２つずつあります。

前者はただの読み書きです。渡された配列分の読み書きを行います。dartの場合はポインタが進まないので戻り値で読み書きしたデータとサイズを返しました。

後者が少し特殊でalignmentという引数があります。これはサイズ調整で今のところ8しか見ていないです。例えばtransactionが２つの配列を渡したとして１つ目のサイズが220であれば8の倍数である224まで0埋めします。

BuiltinPrinter

こちらのほうがそんなに難しくなくて、loadもstoreもStructTypeのシリアライズとデシリアライズを使うので分岐はありません。
※この後作成するfactoryタイプでも使うのでそれだけ例外

FactoryFormatter

ここまで来ればおそらくやることはだいたい理解できていて、コードの解説はほぼ不要かと思います。
Factoryとは何かなどの話をしておきます。

まず、現時点ではTransactionFactory, EmbeddedTransactionFactory, BlockFactory, ReceiptFactoryの４つがmodelsに吐き出されます。これらはdesirializeとcreateByNameという２つの関数しか持ちません。まずcreateByNameについてはdartでは使いませんが、実装しました。

jsの場合にトランザクションを構築する方法としてfacadeからcreate関数で作成できます。typeを文字列で渡してるのでそれを元にどのトランザクションを作成するか判断する必要があります。これがcreateByNameの役割です。

const transaction = facade.transactionFactory.create({
    type: 'transfer_transaction_v1',
    signerPublicKey: aliceKeyPair.publicKey,
    recipientAddress: 'BOB_PLAIN_ADDRESS',
    mosaics: [
		{ 
            mosaicId: 0x72C0212E67A08BCEn,
            amount: 1_000000n 
        }
	],
    message: [0,...(new TextEncoder('utf-8')).encode('Hello, Symbol!!')],
    fee: 1_000000n,
    deadline,
});

今回のSDKではこのようなトランザクションの作成は解説しません。過去作成した時はこれがかなり大変でした。
一方dartでは

var tx = TransferTransactionV1(
    network: NetworkType.TESTNET,
    deadline: Timestamp(facade.network.fromDatetime(DateTime.now().toUtc()).addHours(2).timestamp),
    signerPublicKey: PublicKey(keyPair.publicKey.bytes),
    recipientAddress: UnresolvedAddress('TA5LGYEWS6L2WYBQ75J2DGK7IOZHYVWFWRLOFWI'),
    message: utf8ToBytes('Hello, Symbol!!'),
    mosaics: [UnresolvedMosaic(mosaicId: UnresolvedMosaicId('56148181AF8A6CFC'), amount: Amount(1))],
);

これで作成します。なのでtransactionFactory(今回作成するTransactionFactoryとは別クラスです)が不要でそのためcraeteByNameも不要です。

ちなみにjsでも

var tx = TransferTransactionV1();
tx.network = SymbolNetwork.NetworkType.TESTNET;

インスタンスを作成してから値を埋めていけば同じようなことはできます。

さて、もう一つの関数デシリアライズですが、これは他のクラスと同じでペイロードをトランザクションやブロック、レシートのオブジェクトにデシリアライズするための関数です。

受け取ったペイロードがどのトランザクションクラスか分からなくてもここに放り込めば、正しくオブジェクトにデシリアライズしてくれます。

BlockFactoryであればノード上のブロックのバイナリデータを元にブロック情報を取得することも可能です。

まず、受け取ったペイロードはTransactionならTransaction.desirialize()によってどのトランザクションか判別します。(TransactionTypeだけ分かればいい)
次にそのparentのtypeとversionを元に辞書型のオブジェクトからクラスのタイプを見分け、そのクラスのデシリアライズ関数でオブジェクトの作成です。

このとき

return factory_class.deserialize(buffer);

のようになるのでfactory_classはデシリアライズ関数を持っていなければなりません。jsやpythonでは型がゆるいのでそのまま使えちゃいますが(dartでもdynamicを使えばいいけれども)言語によっては厳しい物もあると思うのでインターフェースなどで対応が必要です。

テスト

ここまで出来たらビルドしてmodelsを作成しましょう。きっと意図していない構文やエラーに見舞われるはずです。まずはエラーが消えるよう潰していきます。

最後にエラーがなくなったらテストしましょう。

テスト用のファイルがここにあります

ローカルリポジトリにも同じ場所にあります。

otherはどうやらデータが不十分なので他の３つに対してテストします。

dartの例ですが

void main() async {
	group('transaction test', () => {  
    test('AccountAddressRestrictionTransactionV1_account_address_restriction_single_1', () {
      var payload = 'D0000000000000007695D855CBB6CB83D5BD08E9D76145674F805D741301883387B7101FD8CA84329BB14DBF2F0B4CD58AA84CF31AC6899D134FC38FAB0E7A76F6216ACD60914ACBD294E5E650ACC2A911B548BE2A1806FF4717621BCE3EC1007295219AFFC17B820000000001985041E0FEEEEFFEEEEFFEE0711EE7711EE77101000201000000009841E5B8E40781CF74DABF592817DE48711D778648DEAFB298F409274B52FABBFBCF7E7DF7E20DE1D0C3F657FB8595C1989059321905F681BCF47EA33BBF5E6F8298B5440854FDED';
      var tx = AccountAddressRestrictionTransactionV1(
        network: NetworkType.TESTNET,
        restrictionFlags: AccountRestrictionFlags.ADDRESS,
        restrictionAdditions: [
          UnresolvedAddress('TBA6LOHEA6A465G2X5MSQF66JBYR254GJDPK7MQ'),
          UnresolvedAddress('TD2ASJ2LKL5LX66PPZ67PYQN4HIMH5SX7OCZLQI')
        ],
        restrictionDeletions: [
          UnresolvedAddress('TCIFSMQZAX3IDPHUP2RTXP26N6BJRNKEBBKP33I')
        ],
        signerPublicKey: PublicKey('D294E5E650ACC2A911B548BE2A1806FF4717621BCE3EC1007295219AFFC17B82'),
        signature: Signature('7695D855CBB6CB83D5BD08E9D76145674F805D741301883387B7101FD8CA84329BB14DBF2F0B4CD58AA84CF31AC6899D134FC38FAB0E7A76F6216ACD60914ACB'),
        fee: Amount('18370164183782063840'),
        deadline: Timestamp(8207562320463688160)
      );
      expect(bytesToHex((TransactionFactory().deserialize(payload) as ITransaction).serialize()), payload);
      expect(bytesToHex(tx.serialize()).toUpperCase(), payload);
    }),

全てのトランザクション、ブロック、レシートに対してテストを行い、全てサクセスすれば晴れてmodelsの完成です。

ここまで来たら折り返し地点は過ぎています。最低限署名さえできればトランザクションはアナウンスできます。ただ、それだけでは少し物足りないので次回、署名やもろもろの話をしたいと思います。