固定長形式のテキストの一行を、shapeless でケースクラスにマッピングする方法を考えてみた。

動機

『Think Stats-プログラマのための統計入門』では、第1章の分析対象が固定長形式のテキストデータとして書かれている(NSFGの'2002FemResp.dat'、ファイル形式はここ)。

固定長形式とは、1レコードを1行とし、各フィールドのデータを固定の開始・終了桁で示した位置に書きこんだもの。

この形式のファイルを読み込む Python コードが、書籍のサイトで提供されているが、同じことを Scala + shapeless で宣言的に書いてみたい。

方針

簡単のために、以下のようなシンプルなケースクラスIceCreamで考えてみる（『The Type Astronaut's Guide to shapeless』から借用）。

case class IceCream(name: String, numCherries: Int, inCone: Boolean)

このインスタンスを、以下のようなフォーマットのテキスト行をデコードして生成してみたい。

name: 1桁~12桁
numCherries: 13桁~14桁
inCone: 15桁~17桁（yes または no）

(shapeless は 2.12の 2.3.3、ソースはここ)

やり方

まず行の指定の位置から、変換関数を用いて値を抽出する関数を返す高階関数extractを、以下のように定義する。

def extract[A](start: Int, end: Int, convert: String => A): String => A =
  line => convert(line.substring(start - 1, end).trim)

これを使ってフィールドごとに抽出関数を作って、関数のHListとする。

val extractors =
  extract(1,  12, identity)   ::
  extract(13, 14, _.toInt)    ::
  extract(15, 17, _ == "yes") ::
  HNil

これを行に適用して変換結果フィールド値のHListを得るには、同じ要素数だけ行を繰り返したHListを作って引数のHListとし、extractorsとはり合わせる形で関数適用する。

指定数だけ行を繰り返して引数のHListとするには以下のような関数を使う。

def repeat[I <: HList, L <: Nat, O <: HList](in: I, s: String)(
  implicit
    len: Length.Aux[I, L],
    rep: Repeat.Aux[String :: HNil, L, O]
): O = rep(s :: HNil)

「関数のHList」を「引数のHList」に適用するには、zipApplyを使い、最後にGenericを使ってIceCreamに変換する。まとめると次のような関数になる。

def lineToIceCream(line: String): IceCream =
  Generic[IceCream].from(extractors zipApply repeat(extractors, line))

以下のように確認できる。

val lines = List (
    "Sundae       1no ",  // IceCream(Sundae,       1,  false),
    "Cornetto    13yes",  // IceCream(Cornetto,     13, true),
    "Banana Split 0no ")  // IceCream(Banana Split, 0,  false)
  .map(lineToIceCream)

所感等

命令型のコーディングだと、フィールド定義をループしながら一個ずつ値を抽出・変換して、結果のオブジェクトに書き込んで更新する形になるが、Scala + shapeless だとかなり宣言的に書ける。
IceCreamと同様に NSFG のデータ 13593件も問題なくデコードできる。
FS2などを用いてStreaming I/O的にレコードの流れを扱う方法などは、別の機会にやってみたい。

まとめ

型レベルプログラミングも宣言的なコーディングに役に立つ。