Flops からワットへ: データセンターで持続可能な AI を実現するエネルギー測定の第一歩

注目ポイント

• エネルギーの透明性は、AI の責任ある展開と利用において、ポリシー策定者の間で優先度が高まっている課題です。しかし、開発者の多くはエネルギー消費を効果的に計測するためのスキルや知識が十分とは言えません。
• インテルと米国国立再生可能エネルギー研究所 (NREL) 戦略的エネルギー分析合同研究チームは、データセンターでエネルギー測定をする際に考慮すべき要因に関するガイドを発行しました。
• チームのメンバーは、効果的な測定スキルや戦略を考えるうえで直面した現実的な課題を共有しています。

AI が莫大な量のエネルギーを消費する可能性のある今、有効な環境保護施策をとるにはどうすればよいのでしょうか？ エネルギーの透明性¹を求める声は日増しに高まっているものの、その透明性を確保する標準の測定手法はまだ確立されていないのが現状です。簡単には検知できない誤差の原因は数多くあり、エネルギー測定は AI 開発者の教育で必ずしも中心的なものとは言えません。

このギャップを埋めるために、インテルと国立再生可能エネルギー研究所の戦略的エネルギー分析合同研究チームは共同で、「A Beginner's Guide to Power and Energy Measurement and Estimation for Computing and Machine Learning (初心者向けコンピューターとマシンラーニングのためのエネルギー測定と評価ガイド)²」を制作しました。この詳細なガイドは、AI 開発者やソフトウェア系プロフェッショナルに、測定に関するスマートな意思決定を行えるスキルを身に着けてもらうことを目的としています。意思決定が必要なのは、システム全体なのかデバイス単位なのかといった測定対象から、測定の頻度を決めるサンプリング戦略、誤差に影響する要因の特定、どの程度の近似範囲ならば許容できるのかといったことまで、さまざまです。いずれも初歩ステップとして、最適化手法やモデルの選択において、持続可能性に最も影響を及ぼす要因を正確に見極めるためには欠かせません。

チームのメンバーにとって、このような判断は抽象的な理論ではなく、高い意思とともにあるトピックです。実のところ、このガイドを制作した背景には、信頼性の高い測定方法の確立に苦戦してきた実体験があり、ここではその試行錯誤を通して向かい合ってきた課題の深さと大きさを共有しています。エネルギー透明性への期待が高まる今、実際にどう測定するか具体的な手法を考える絶好のタイミングではないでしょうか。

現場で直面したエネルギー測定の課題

始まりは、ある同僚からの連絡でした。後にこのガイドの共著者となったその同僚は、「このやり方では、うまくいきそうにない」と言ったのです。新しいプロジェクトを開始するときに聞きたい類の言葉ではありません。

この同僚は、さまざまな自然言語処理 (NLP) モデルが消費するエネルギー量を比較しようとしていました。これが、「AI 開発者がエネルギーと持続可能性の領域を意識するようになるには、どのようなツールが役に立つのか？」という、さらに意識の高い問いに向かう第一歩でした。ワットが何であり、それが温室効果ガスの排出につながると知っていることと、ワットという単位を環境負荷の指標として理解し扱えることとは、エンジニアが Flops やエポック数を理解して使いこなせるのと同じように、まったく別の話です。

この意識が気候変動を進めることも、止めることもあり得るでしょう。NLP プロフェッショナルの大多数³が、自分たちの仕事が気候に与える影響を非常に懸念しているのは既知の事実ですが、持続可能性を第一に考えるべき指標⁴と「言う」ことと、そうするために実際に「行動する」ことの間には、違いがあります。意識やスキル、時にはプロフェッショナルのビジョン⁵と呼ばれる要因でさえも、この違いに影響を及ぼし、人々がどのような概念を認識して、どのようなツールを使い、どの情報を無関係だと考えるかを左右します。エネルギーに対する意識がなければ、「ワット時」も無関係な情報となりますし、そこで終わりです。

大半の人々にとって、エネルギーは感覚に存在しないものです。今この記事を読んでいる皆さんも、そうかもしれません。スマートフォンの充電に必要な 1 時間当たりのワット数を当てずっぽうでも言える人などほとんどいないでしょうし、AI の推論処理に必要なワット数となればなおさらです。これは、AI が環境に及ぼす影響を認識⁶し、エネルギーと炭素排出量の透明性を求める声⁷が高まっている中、ポリシーと基準を定める現場で大きな問題となっています。

つまり、認識して測定することが、第一歩となります。データセンターは複雑な場所で、エネルギーを可視化するのは簡単なことではありません。信頼性の高い有用な数値を見積もるには、測定範囲の設定方法や、測定の信頼性を損なう可能性がある要因について理解する必要があります。

一方、モデルの最適化はどうでしょう？ 効率に関してマシンラーニング (ML) 開発者はよく知っていますが、ML 最適化のすべてがエネルギー削減に直結するわけではありません⁸。エネルギー削減につなげるには、憶測に頼らず、エネルギーそのものへの意識が必要です。ML 開発者は学習処理のランタイムを予想することは得意ですが、エネルギーについても同様の意識を持つには何が必要でしょう。これこそチームが取り組もうとしている、社会的にも技術的にも興味深い問いです。

共著者である同僚は、冒頭の言葉に続けてこう言いました。「この実験結果を見て」

実験では 1 エポックで消費するエネルギー量を測定しようとしており、そのためにはトレーニング中の消費エネルギーをたびたびサンプリングしなければなりません。サンプリングするたびに、自分の測定結果を信用できなくなっていました。研究者なら誰でも知っている、あの不安な気持ちです。

私の目には、測定結果から分かったサンプリング元のオーバーヘッド問題が飛び込んできました。エネルギー消費データを確認するためにプロセッサーに ping を送信する回数が増えるほど、測定するだけでエネルギー消費量が増えるのです。大まかな測定ではわずかなノイズにすぎませんが、粒度の高い測定では信号の純度が低下してしまいます。物理学における観察者のパラドックスのことは知っていましたが、ここでこの現象に遭遇するとは予想していませんでした。

ほかのメンバーからも、ハイパースレッディングからバックグラウンド処理まで、さまざまな問題が報告され始めました。市販のツールにも役立つものがありますが、問題は次々と起こり、どれも対処が難しいものでした。結局のところ、スティーヴン・ホーキング博士のような[ALS 患者向けの AI を活用したコミュニケーション・ツールを構築するための訓練を受けた者にとって、データセンターを流れるエネルギーなど最優先の関心事ではないからです。

ガイドの制作

ありがたいことに、協力を頼めるエキスパートは社内に数多くおり、その中には[エネルギーに関する主要業績評価指標 (KPI)⁹に柔軟に対応する技術的オーケストレーションを設計してきたインテルのフェロー・リサーチャーも含まれています。また、エネルギー効率の高いコンピューティングの最前線で「グリーン・コンピューティング・カタライザー」を研究する NREL 戦略的エネルギー分析合同研究チーム¹⁰のメンバーにも協力を求めました。NREL の研究チームは 100 万もの指標¹¹を 1 分間¹²に計測できる、大量の機器を備えた高性能コンピューティング・センターで検証を行っています。

持ち上がった疑問や問題がインテルに特有のものではないことは分かっていました。そこで、協力を呼びかけたエキスパートや研究者も一緒になって、プロジェクト開始時に知っておきたかったことをドキュメントとしてまとめるところから始めています。現在使用できるツール (ドキュメントに一覧を掲載) をすべて導入してさえも、「このエネルギー数値は目的達成のために十分なのか？」といった疑問は、ほとんどの場合、意思決定に必要な明確にしておくべき項目です。

同じような疑問をお持ちなら、ぜひ「A Beginner's Guide to Power and Energy Measurement and Estimation for Computing and Machine Learning (初心者向けコンピューターとマシンラーニングのためのエネルギー測定と評価ガイド)」を活用してください。これは必要な情報をリアルタイムで映し出す「魔法の地図」のようなものです。地図の冒頭はシンプルな事柄から始まり、例えば大規模言語モデル (LLM) は小規模モデルよりもエネルギー消費が大きいといった、一般的なことが書かれています。具体的な設定やハードウェアについて何も知らなくても、ソフトウェア設計と電子の関係は明白ですが、主張は間違っていないけれど、役に立つこともない、という場合が問題になります。このようなときは、一つひとつ道順に沿って先へ進み、深い場所へと潜っていきます。

地図の一番下にあるのは、魅惑的だけれども不可能に思える、つまりすべてのサブシステムと命令セットを通るありとあらゆる電子を追跡して、最終的に消費エネルギーの総量をきめ細かく測定するということです。完璧な測定は魅力的に思えますが、観察者効果やその他のさまざまな要因により、最終的にはっきり分かることではありません。

この初心者向けガイドは、単純になりすぎず、シンプルで信頼できる現実的な道筋を見つける助けになるはずです。さらに深く潜るタイミングを知り、どの方角にドラゴン (難所) が潜んでいるのかを知るために、足元に何があるかを教えてくれる地図となっています。

展望

長期的視点からは、観察手法は改良が必要ですし、開発者たちが期待するエネルギー透明性の質について広く合意を形成する必要もあります。エネルギー使用に関して開発者間、または開発者とデータセンターの間やバリューチェーン内で責任を転嫁すべきではありません¹³。

短期的視点からは、必要十分な測定は、見方さえ分かれば実用的なだけでなく、有益かつ重要と言えます。数多くのオフライン推定ツールの 1 つを使用して、最後に行ったファインチューニングのデータを入力するのと同じくらいシンプルです。結果を見て驚くことでしょう。

オフライン推定ツール

---

元記事

筆者:Dawn_Nafus
所属: インテル
投稿日:2025年1月15日

Dawn Nafus は、インテルラボで活動する Sociotechnical Systems チームのプリンシパル・エンジニア 兼 リサーチ・マネージャーです。

1. Generative AI and Climate Change Are on a Collision Course ,WIRED Dec 10. 2024. ↩

2. JISEA Green Computing Catalyzer and Intel Build Framework To Measure Artificial Intelligence's Energy Use NREL Jan 15. 2025 ↩

3. What Do NLP Researchers Believe? Results of the NLP Community Metasurvey ACL Anthology July. 2023 ↩

4. Design for Sustainability in Computing U.S. National Science Foundation March 15, 2022 ↩

5. Professional Vision Charles Goodwin American Anthropologist New Series, Vol. 96, No. 3 (Sep., 1994), pp. 606-633 (28 pages) Published By: Wiley ↩

6. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile NIST Trustworthy and Responsible AI NIST AI 600-1 ↩

7. AI Is an Energy Hog, and Government Needs to Be Aware govermnet technology December 05, 2024 ↩

8. Energy and Carbon Considerations of Fine-Tuning BERT arXiv:2311.10267v2 [cs.CL] 16 Oct 2024 ↩

9. Elastic and Energy Proportional Edge Computing Infrastructure Intel Jan, 2024 ↩

10. NREL Computational Science NREL 戦略的エネルギー分析合同研究チーム ↩

11. Data Center Facility Monitoring with Physics Aware Approach High Performance Computing. ISC High Performance 2022 International Workshops Conference paper, 04 January, 2023 ↩

12. NREL HPC Eagle Jobs Data NREL ↩

13. Dislocated accountabilities in the “AI supply chain”: Modularity and developers’ notions of responsibility Sage Journals June 15, 2023 ↩