データベースの運用において、「長時間のSELECT文の裏でバッチ処理 (TRUNCATE 含む) が走り、メタデータロック (MDL) の競合によって処理が完全に停止してしまう」 というのは、実は珍しくないトラブルの一つです。
データベースの行ロック (レコードロック) は意識していても、この「メタデータロック」の仕様を正しく把握していないと、思わぬところでシステム全体の停止を招くことがあります。
今回はこの事象を教訓に、メタデータロックの仕組みと、バッチ処理で DDL (TRUNCATE など) を扱う危険性、そしてその代替案についてまとめました。
メタデータロック (MDL) とは何か?通常のロックとの違い
メタデータロック (MDL) とは?
メタデータロック (Metadata Lock: MDL) とは、「 テーブルの構造 ( 定義 ) 」を保護するためのロック機構 です。
トランザクションの実行中に、別のセッションからテーブル構造 (カラムの追加・削除や、テーブルの破棄など) を勝手に変更されないようにするために存在します。MySQLでは5.5から導入されました。
通常のロック (行ロック・テーブルロック) との違い
| ロックの種類 | 保護する対象 | 主な発生トリガー |
|---|---|---|
|
通常のロック (行ロック・テーブルロック) |
テーブル内のデータ(レコード) |
SELECT ... FOR UPDATE, UPDATE, DELETE
|
|
メタデータロック (MDL) |
テーブルの定義 (構造そのもの) | すべてのSQL (SELECT, INSERT, ALTER, TRUNCATE など) |
行ロックは「 データそのもの 」を保護しますが、メタデータロックは「データの入れ物 ( スキーマ )」を保護します。
トラブル発生のメカズム
MDLには、読み取り用の 共有メタデータロック(Shared MDL) と、書き換え用の 排他メタデータロック (Exclusive MDL) があります。
- 長時間SELECTの実行: テーブルAに対して共有MDL ( 読み取り ) が保持される。
- バッチ処理 ( TRUNCATE ) の開始: テーブルAのデータを全削除しようとする。TRUNCATEはテーブルを一度ドロップして再作成する挙動をするため、排他MDL (書き換え) を取得しようとする。
- ロック待ちの発生: 共有MDL (SELECT) が解放されるまで、排他MDL (TRUNCATE) は待ち状態。
- 後続処理のストップ: TRUNCATEが完了しないため、その後に続くデータ挿入 (INSERT) 処理もすべて実行されない状態に陥る。
バッチ処理に DDL を含める危険性
この事例から学べるのは、「定期実行されるバッチ処理 (特に日中も動くものや、オンライン処理と並走するもの) に DDL を含めるのは非常に危険である」 ということです。
後続のすべてのクエリを巻き込んで目詰まりを起こす
MySQLのMDLは、排他MDLの取得待ちが発生すると、それ以降に到着したそのテーブルへのすべてのクエリ ( 通常のSELECTすらも ) をブロックする という性質があります。
つまり、1つのTRUNCATEが待たされるだけで、システム全体のそのテーブルへのアクセスが完全にストップし、大規模なサービス遅延へ発展します。
教訓:
バッチ処理 (特にデータ更新系) を設計する際は、可能な限り 排他メタデータロックを発生させない (DDLを使わない) アプローチを選択するべきです。
TRUNCATE はデータ削除なのに、なぜ DDL?
「データを消すだけなら DELETE と同じDML (データ操作言語) じゃないの?」と思いがちです。しかし、TRUNCATEは「 DDL (データ定義言語) 」 なのです。
なぜ TRUNCATE は DDL なのか?
実は TRUNCATEは、内部的には「 1行ずつデータを消す 」のではなく、「テーブルそのものを一度削除 (DROP) し、同じ構造の空テーブルを再作成 (CREATE) する」 という動きをしています。
- DELETE (DML): 1行ずつデータを削除し、ログ ( Undoログ ) を書き、インデックスを更新する。遅い。
- TRUNCATE (DDL): 構造ごと作り直す。ログをほとんど吐かないため、数百万件あっても一瞬で消える。速い。
効率よく一瞬でデータを消せるメリットの裏返しとして、テーブル構造を作り直すために「 排他メタデータロック 」が必要になる という罠があるのです。
TRUNCATE の代替手段
バッチ処理で安全にデータをクリア、または差し替えるための代替手段を2つ紹介します。
1. DELETE FROM テーブル名 を使う ( DML )
最もシンプルな代替案です。DMLであるため排他MDLは発生せず、共有MDL ( 通常のSELECTなど ) と並走できます ( 行ロックの競合は発生します ) 。
- メリット: メタデータロックで全体がストップしない。ロールバックが可能。
- デメリット: データ量が大量 ( 数百万件〜 ) の場合、処理が非常に重くなり、レプリケーション遅延や行ロックの長時間保持を引き起こす。
2. RENAME TABLE を使ったテーブルスワップ ( 推奨 )
本番環境で最も安全に大量データを一瞬で差し替えるテクニックです。
- あらかじめ本番テーブル (
data_table) と同じ構造の空テーブル (data_table_new) を作っておく。 - 新しいデータを
data_table_newにインサートする ( この間、本番テーブルは無風 ) 。 - アトミック ( 一瞬 ) にテーブル名を入れ替える。
RENAME TABLE data_table TO data_table_old, data_table_new TO data_table; - 不要になった
data_table_oldをバックグラウンド ( またはアクセスの少ない時間帯 ) でDROPする。
RENAME TABLE も DDL ではありますが、一瞬で処理が完了するため、ロック待ちが発生するリスクを極限まで減らすことができます。
まとめ
メタデータロックとバッチ処理についての知見をまとめます。
-
SELECT文もロック (共有メタデータロック) を持っている。 長時間クエリはそれだけでリスク。
-
TRUNCATEはデータを消すコマンドではなく、テーブルを作り直す「DDL」である。
-
バッチ処理にTRUNCATEなどのDDLを組み込むと、ロック待ちによってシステム全体のクエリが目詰まりを起こす危険性がある。
-
安全に運用するためには、データ量に応じて DELETE文の採用 や、RENAME TABLE を用いたテーブルスワップ構成 への変更を検討する。
以上、ご参考になれば幸いです。