0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIにコードの高速化を実験させたら、採用しないための根拠が残った話

0
Posted at

AIにコードを改善してもらうと、変更したコードと「テストが通りました」という報告が返ってきます。高速化が目的なら、そこからもう一つ確かめることがあります。本当に、採用するだけの速さになったのか。

今回、自作の実験ワークフロー「AI探求ラボ」で、ポッドキャストの選材に使うクラスタリング処理の代替実装を試しました。出力の比較は通りましたが、速度は事前に決めた基準に届かず、測定した全10組で現行版より遅くなりました。

残ったのは、速度目的で置き換える根拠がない、という判断と、その判断をたどれる記録です。

この記事では2026年9月に実施した実験を振り返り、AIに実装と検証を任せる際、どのような条件と記録を残したかを紹介します。記事作成時に性能測定を再実行したものではありません。

対象は、ポッドキャストの選材を助けるクラスタリング

対象は、記事候補のベクトルを平均連結法でまとめるNode.jsの処理です。クラスタ間の類似度を比較して順に結合し、各クラスタの代表記事やメンバーを返します。

現行版は、記事同士の類似度と、クラスタ間の類似度の合計を保持しています。結合のたびに全メンバーの組み合わせを計算し直すのではなく、保持した合計を更新する実装です。

代替版でもこの計算方針は維持し、内部のデータ表現などを変更しました。例えば、現行版のFloat64Arrayによる行列を、通常のArrayに置き換えています。メンバーの配列結合にも変更があります。

このため、今回の比較を「TypedArrayとArrayのどちらが速いか」だけの実験とは扱えません。複数の変更を含む、二つの実装全体の比較です。

先に「何が起きたら採用候補か」を決める

今回の実験では、実装と計測に入る前に支持条件を固定しました。結果を見てから、良さそうな数字に判断基準を合わせないための手順です。

  • 同じ入力に対して、必要な出力が一致する。
  • 許可した変更範囲を守る。
  • 比較可能な計測を、2バッチ×5組、合計10組そろえる。
  • 各バッチで、代替版の時間中央値が現行版より10%以上短い。
  • 10組の対応を保って計算したブートストラップ95%区間の下限も、短縮率10%以上になる。

10%は今回の実験で置いた判断基準です。高速化の実験なら常にこの数字でよい、という意味ではありません。

実験の順序。仮説と判断基準を固定し、隔離した実装、同値確認、対比較を経て採否を判断する

図1:コードを書く前に、何を確かめ、どう判断するかを固定した。

実装する場所も分けました。現行版と既存の受入テストを隔離した作業場所へコピーし、追加できるのは代替モジュールとベンチマークの2ファイルだけ。依存追加とネットワーク接続は行わず、元の2ファイルのハッシュが変わっていないことも確認しています。

ここで守りたかったのは、比較対象を途中で変えず、試した変更と測定結果を対応付けられることです。

出力の「同じ」を、クラスタ数だけで済ませない

出力の一致は、次の3種類の固定入力で確認しました。

入力 確認したいこと
既存の受入ケース もともと期待している結果を壊していないか
同点を含むケース 類似度が同じ場合の選び方も一致するか
32候補の決定的なケース 少し多い候補でも出力が一致するか

比較したのはクラスタ数だけではありません。代表記事、クラスタID、メンバーの並び、丸めた類似度、実装メタデータを含む返り値を深く比較しました。結果は3ケースすべて一致でした。

例えば、クラスタの中身が同じでも代表記事が違えば、後段で読む記事が変わる可能性があります。同点時の順序も、再現できる出力を求めるなら仕様の一部です。

ただし、3ケースで一致したことは、すべての入力で等価だという証明にはなりません。境界値、不正入力、大規模なランダム入力まで網羅した差分テストは、この実験の範囲外です。

速度測定では、何を測ったかを狭く書く

速度の測定には、同値確認にも使った32候補の固定入力を用いました。ベンチマークのコードを読むと、条件は次のようになっています。

項目 今回の条件
CPU Intel Core i7-10700
OS Windows_NT 10.0.26200 / x64
Node.js v24.18.0
入力 32候補、4次元の合成ベクトル
クラスタ結合の閾値 0.8
計時 process.hrtime.bigint()
1サンプル 同じ実装を25回呼び出した合計時間
記録数 2バッチ×5組の対比較

実際の記事から作った高次元の埋め込みを、大量に処理した測定ではありません。 ファイル読込や埋め込み生成も含めず、入力を用意した後のクラスタリング関数の呼出しを計測しています。したがって、ポッドキャスト制作全体が何秒短くなるか、という数字でもありません。

各バッチでは、現行版→代替版、代替版→現行版と実行順を交互にしました。先に走る実装が常に同じになることは避けていますが、各バッチが5組なので、全体では現行版先行が6組、代替版先行が4組です。完全に均等な順序設計ではありません。

計測前には、同値確認の実行に加え、各固定入力・各実装について1回ずつ、集計しないウォームアップ呼出しがあります。十分にJITが安定した定常状態を確かめたわけではありません。

結果は、10組すべてで代替版が遅かった

生の計測値は次の図です。1本の棒は、関数を25回呼び出した合計時間です。

全10組の実測値。すべての組で代替版の処理時間が現行版より長い

図2:保存済みの生の計測値を図示。単位はミリ秒、短いほど速い。

バッチごとの中央値をまとめると、次の結果になりました。

バッチ 現行版の中央値 代替版の中央値 時間短縮率
1 5.1830 ms 7.5127 ms -44.95%
2 5.3432 ms 8.8978 ms -66.53%

時間短縮率は、次の式です。

const reduction = (baselineTime - alternativeTime) / baselineTime;

プラスなら時間が短くなり、マイナスなら長くなっています。バッチ1の-44.95%は、中央値で比べた代替版の処理時間が約1.45倍だった、という意味です。

集計では、似ている二つの数字を区別しています。

  • 表の短縮率:バッチ内で現行版と代替版の中央値をそれぞれ求め、その比から計算する。
  • ブートストラップ:各組の短縮率を求め、10組から復元抽出して、その中央値の分布を作る。

後者は固定seedで10,000回再標本化した、95%パーセンタイル区間です。結果は**-86.10%〜-32.97%**でした。各バッチの中央値による短縮率も、この区間の下限も、事前に置いた+10%の条件には届きません。

したがって、今回の記録に基づく判定は「速度改善の仮説は不支持」です。測定した条件では、速度を理由に現行版を置き換える根拠は得られませんでした。

「実験が完了した」と「高速化できた」を分ける

実験記録には、実行がcompleted、品質検証がpassed、完了条件がmetと書かれています。一方で、仮説の評価は不支持です。

この二つは、対象が違います。

実験の完了と仮説の評価を分けた結果。出力比較と計測記録は成立し、速度改善の仮説は不支持

図3:手順を完了したことと、期待した改善を観測できたことを別々に記録する。

実験の完了条件は、変更範囲、テスト、計測、環境、評価の記録をそろえることでした。高速化の支持条件は、それらがそろったうえで速度の閾値を満たすことです。

その区別をせず、「テスト成功」「品質検証passed」だけを短い要約にすると、期待していた性能改善まで達成したように読めてしまいます。結果を返す際には、少なくとも次を別項目にするのがよさそうです。

{
  "experiment_status": "completed",
  "equivalence_on_tested_inputs": true,
  "speedup_hypothesis": "not_supported",
  "replacement_for_speed": "not_justified"
}

これは記事用に簡略化した表現です。「何が終わったか」と「何が分かったか」を、別の項目として残す意図を示しています。

この結果から、まだ言えないこと

今回の測定には、はっきりした限界もあります。

  1. 入力の範囲が狭い。 速度測定は32候補・4次元・閾値0.8の1ケースです。候補数、次元、閾値を変えた比較はしていません。
  2. 実行環境の影響を取り除けていない。 CPU affinityや負荷隔離は設定しておらず、JIT、GC、OSのスケジューリング、同時に動く処理の影響が残ります。
  3. 記録数が少ない。 同じプロセス内で続けて測った10組です。ブートストラップを10,000回行っても、元の観測が10組であることや、測定条件の偏りは解消しません。
  4. 遅くなった原因までは切り分けていない。 配列の種類だけでなく、結合処理なども変わっています。プロファイラや変更ごとの比較による原因分析は、次の課題です。

なので、「通常のArrayは遅い」「AIによる最適化は役に立たない」といった一般論には広げません。今回は、この代替実装を、この条件で、速度目的では採用できる根拠がなかった、というところまでです。

次の実験へ渡せる形にする

同じテーマを続けるなら、まず実際の利用条件に近い入力をそろえるところからです。候補数とベクトル次元を変え、プロセスを分けた反復や実行順の均等化を取り入れる。安定した状態を測るならウォームアップ方法も設計し直す。そのうえで、変更点を一つずつ比較すると、遅くなった理由を調べやすくなります。

これらは今後の改善案で、今回実施した内容ではありません。最初の結果を都合よく読み替えるのではなく、新しい条件の別実験として扱います。

AIに高速化を任せるときに残しておきたいのは、次の5点です。

  • 比較する実装と、変更してよい範囲。
  • 守るべき出力と、それを確認した入力。
  • 結果を見る前に決めた判断基準。
  • 集計値の元になった生データ、測定順、実行環境。
  • 採否と、まだ確認していない条件。

今回、速いコードは得られませんでした。ただ、変更しないという判断を、印象ではなく確認した条件と数字で説明できました。AIに実験を任せる仕組みでは、こうした結果も取りこぼさずに残せるようにしておきたいと思います。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?