2019-09-19/20 の WMO Workshop on NetCDF CF conventions for WMO data exchange において、ECMWF の Sebastien Villaume により発表された資料 http://wiswiki.wmo.int/tiki-download_file.php?fileId=5752 の概要です。
- netCDF や CF とは何ですかという人は以前書いた概説をごらんください。
- GRIB とは何ですかという人は以前書いた概説をご覧ください。
- 全訳ではありません。図版はパクると怒られそうなので本家PPT見てください。
p2. ECMWFにおける利用状況
- そんなに使われていない
- MARSアーカイブに既に WMO 通報式 GRIB 又は BUFR によるデータが300ペタバイトもある
- 長期保存アーカイブをnetCDF対応させるのは難しい
p3. 海洋データは例外
- 海洋モデルNEMOは三極座標という特殊な格子を使っており、もともとGRIBではない
- だけどnetCDFで効率的に扱えるというわけでもない
- 長期保存アーカイブにもっていくときには経緯度規則格子に補間している
p4. Copernicus対応ではnetCDFを使う
- C3S, CAMS, CEMS というサービスを実施
- ECMWF外部から受領するデータはほとんど netCDF
- 受け入れるデータを標準化するため、CF に由来するプロファイルを ECMWF で作っている
- ｛訳すのが難しい文｝ Copernicus ユーザはおおむね技術水準が低い「一般の」ユーザ（気象界の外という意味であろう）なので netCDF を希望する
p5. The ECMWF NetCDF "profile"
- CFの一般原則を採用
- CFで任意とされている要素を一部必須化
- いくつかの望ましくない機能を禁止
- 多数のメタデータ記載方法がある場合に一つを勧告
- メタデータの indexing および aggregation を助長するように設計
- {訳注：逐次刊行又は１ファイルには格納しきれない巨大なデータセットを多数ファイルの集合で表現することがしばしば行われるので、それを一体的にアクセスできるようにするのが aggregation, そのために個々のファイルにインデックスを与えておくのが indexing と思われる}
- ファイル内容を理解するために必要な情報をファイル名に記載しない
- 可能な限りすべてのデータセットに適用できるよう一般的に
{訳注：このような活動はCF管理パネルにとって面白くない分派活動とみなされているようだが、以下に見るように必要に迫られているので現業機関としては頑張らねばならない}
p6. 時空間座標
{わりかしあたりまえの判断}
p7. 時間：時間軸はただ１つだが時間座標はいくつか設ける
{TBD。重要}
p8～12 やりたいことの図示
p13. データ変数
p14. 他の種類の座標または概念の必要性
- ｛時空間｝以外の、順序付きリストまたは順序無し集合の座標を定義している
- たとえば
- アンサンブルメンバー
- 再予報モデル日付またはバージョン
- モデル出所 ｛訳注：おそらくグランドアンサンブル｝
p15. ECMWFで我々はどこにいこうとしているか：我々に必要なもの
- 多様な時間概念のエンコード方法の改善
- 単にCFを使っているだけでは、あるファイルの中身が解析なのか、予報なのか、再予報なのか、これらの集合なのか、あるいは何かほかのものなのかを知ることが容易ではない
- 標準名 standard_name 表の一貫性の改善
- いくつかの標準名は名前が長すぎるし、しばしば後処理や符号規約などを含んでい｛て物理量の識別という理念を逸脱してい｝る
- 属性 cell_methods を排していくつかの属性の集合、または外部のダミー変数に張り付けた属性で表現しなおす
- 複雑または多種の後処理の記述として長い｛複雑な構文の｝文字列を使うのは機能しない
p16～20 提言
｛規則類のレイヤ構造を示した図をならべて、CFのデータモデルはいただきつつ、統制語彙 controlled vocabularies はCFとWMOで独立させてWMO側で必要なものを入れさせてもらうという話のようである。GRIBとの移行を考えるとソフトウェア開発的にはたいへん素直（標準名表をさしかえるだけ）な話だが、席上CF側はそうとう嫌がったと聞く。まあそりゃあそうだわな。｝
p.21 心配
｛実際はそれ以前で揉めているのだが、上記提言が成ったとして｝
- WMO 側では新しい構造や機能（それは大抵実に汚い）を必要として、CFの構造のレベルの改正が必要になる
- CFの思想やデータモデルと矛盾なくできるなら良いが
- そうじゃなかったら
p.22 Concluding Remarks
- ECMWF NetCDF プロファイルは新しいユニバーサルな規約を作ろうとするものではない
- XKCD の How Standards Proliferate? https://xkcd.com/927/ という有名な漫画が貼られている
- ｛訳注：マネジメントレベルの問題意識としては、世界システムとして転用して管理事務を押し付けるのは受けられないというメッセージがあるだろう｝
- ただしWMOプロファイルの少なくとも数値予報部分を構築する際のたたき台くらいにはなるかもしれない
- 数値予報コミュニティの基礎的な概念をすべてカバーしたと言えるにはいくらかの仕事がまだなされねばならない