サンプル数 n がバグ発見の決め手。

何年もかかってしまったプロジェクトがようやく終焉を迎えようとしていますが、終盤で発見した深刻なバグの経験から、改めて痛感したのは、サンプル数 n がバグ発見の決め手であるということ。

データのサンプル数 n の辻褄が合っていない場合、ほぼ100%どこかに深刻なバグが潜んでいます。

備忘録的に対策としての工夫を書き残しておきます。

1. nを常に吐き出す

論文にもどのみちサンプル数 n を記載する必要がありますから、Live Script (MATLAB)では常にサンプル数 n の数字を常に吐き出すように心掛ける

fprintf('A: n = %d\n',length(A));

2. n の見える化には努力を怠らないこと

サンプル数の見える化については努力を怠らない。たとえばもし、A, Bの2つのデータが組になっているならば、

...
fprintf('A: n = %d\n',length(A));

...
fprintf('B: n = %d\n',length(B));

というように、コードの別々の場所でそれぞれの数字を吐き出すよりは、

disp(table(length(A),length(B),...
  'VariableNames',{'A','B'},...
  'RowNames',{'n'}));

として一箇所でまとめて表示するほうがよほど可視性が高く問題に気づくのが早くなります。

3. assertionを配備しておく

サンプル数に関して、何かルールが存在する場合は（たとえばA群のサンプル数とB群のサンプル数を合わせると100になる、というルール）、データ解析の計算そのものに必要なくとも（ここが肝心。サンプル数が狂っていても問題なく計算できてしまう解析が多い。）、assertion を追加しておきます。これによって、もしルールが破られた場合はエラーが出るような安全設計ができます。

assert(length(A) + length(B) == 100,...
  'Sample numbers do not satisfy the rule.')