💡 発見した裏技の概要
Databricks Serverless SQL Warehouseは驚異的な性能を持ち、わずか5秒で起動します ⚡
この高速起動を最大限に活かすため、自動停止時間を1分に設定する裏技を発見しました 🎯
🤔 GUIとAPIの設定可能値の違い
Databricksの管理コンソール（GUI）とREST APIでは、設定可能な自動停止時間に違いがあります。
📊 GUIで設定可能：5分以上のみ
🔥 APIで設定可能：1分から可能！（1分、2分、3分、4分もOK）
この違いを活用することで、より細かいコスト最適化が実現できます 💰
⚡ なぜ1分設定が有効なのか
Serverless SQL Warehouseは5秒という高速起動を実現しています 🚀 この特性を考慮すると、アイドル時間を1分に設定することで、使用パターンに応じた最適な運用が可能になります。
例えば、断続的にクエリを実行する開発環境では、1分設定により必要な時だけリソースを確保し、使用していない時間を最小化できます 📉
🛠️ 実装方法
Databricksノートブックで以下のコードを実行することで、GUIでは設定できない1分自動停止を実現できます 🎉
⚙️ 設定パラメータ
# 🎯 Warehouse IDと自動停止時間の設定
WAREHOUSE_ID = "your_warehouse_id_here" # 対象のWarehouse ID
AUTO_STOP_MINUTES = 1 # 🔥 APIなら1分設定が可能！
import requests
import json
from time import sleep
🔐 認証情報の取得
# 🔑 Databricks環境から認証情報を自動取得
host = "https://" + dbutils.notebook.entry_point.getDbutils().notebook().getContext().browserHostName().get()
headers = {
"Authorization": "Bearer " + dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get(),
"Content-Type": "application/json"
}
api_base = f"{host}/api/2.0/sql/warehouses"
print(f"✅ 認証情報を取得しました")
print(f"📍 対象Warehouse ID: {WAREHOUSE_ID}")
print(f"⚙️ 設定する自動停止時間: {AUTO_STOP_MINUTES}分")
📋 現在の設定確認関数
def get_warehouse_config(warehouse_id):
"""
📊 SQL Warehouseの現在の設定を取得
"""
url = f"{api_base}/{warehouse_id}"
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
config = response.json()
print(f"✅ 現在のWarehouse設定を取得しました")
print(f" 📝 Name: {config.get('name')}")
print(f" 🚦 State: {config.get('state')}")
print(f" ⏰ Current Auto-stop: {config.get('auto_stop_mins', 'Not set')} minutes")
print(f" 📏 Cluster Size: {config.get('cluster_size')}")
print(f" 🏷️ Warehouse Type: {config.get('warehouse_type', 'CLASSIC')}")
return config
except requests.exceptions.RequestException as e:
print(f"❌ エラー: Warehouse設定の取得に失敗しました")
print(f" 📝 詳細: {e}")
raise
🔄 自動停止時間を更新する関数
def update_auto_stop_mins(warehouse_id, auto_stop_mins):
"""
🔥 SQL WarehouseのAuto Stop時間を更新
APIを使用することで1分設定も可能 💡
"""
# 現在の設定を取得
print("=" * 60)
print("📋 現在のWarehouse設定を取得中...")
current_config = get_warehouse_config(warehouse_id)
# 🛠️ 更新パラメータを準備
update_params = {
"id": warehouse_id,
"name": current_config.get("name"),
"cluster_size": current_config.get("cluster_size"),
"auto_stop_mins": auto_stop_mins # 🎯 ここがポイント！
}
# オプショナルパラメータを既存設定から追加
optional_params = [
"max_num_clusters",
"enable_photon",
"enable_serverless_compute",
"warehouse_type",
"spot_instance_policy",
"channel",
"tags"
]
for param in optional_params:
if param in current_config:
update_params[param] = current_config[param]
if "max_num_clusters" not in update_params:
update_params["max_num_clusters"] = 1
print("=" * 60)
print(f"🔄 Auto-stop時間を {auto_stop_mins} 分に更新中...")
url = f"{api_base}/{warehouse_id}/edit"
try:
response = requests.post(url, headers=headers, json=update_params)
response.raise_for_status()
print(f"✅ 正常に更新されました")
# 🔍 更新の確認
sleep(2)
print("=" * 60)
print("📋 更新後の設定を確認中...")
updated_config = get_warehouse_config(warehouse_id)
if updated_config.get('auto_stop_mins') == auto_stop_mins:
print("=" * 60)
print(f"🎉 成功: Auto-stop時間が {auto_stop_mins} 分に設定されました")
return True
except requests.exceptions.RequestException as e:
print(f"❌ エラー: Warehouse設定の更新に失敗しました")
print(f" 📝 詳細: {e}")
raise
🚀 メイン実行処理
print("🚀 Databricks SQL Warehouse 自動停止時間設定スクリプト")
print("=" * 60)
print(f"🎯 対象Warehouse ID: {WAREHOUSE_ID}")
print(f"⏰ 設定する自動停止時間: {AUTO_STOP_MINUTES} 分")
print("=" * 60)
try:
# 🔥 Auto-stop時間を更新
update_auto_stop_mins(WAREHOUSE_ID, AUTO_STOP_MINUTES)
print("=" * 60)
print("✅ すべての処理が完了しました 🎉")
except Exception as e:
print("=" * 60)
print(f"❌ 処理中にエラーが発生しました: {e}")
print("\n💡 ヒント:")
print(" 1️⃣ Warehouse IDが正しいか確認してください")
print(" 2️⃣ Warehouseが存在し、アクセス権限があるか確認してください")
print(" 3️⃣ DatabricksノートブックまたはJobsから実行しているか確認してください")
📊 設定結果の確認
実行後、以下のような出力で設定変更を確認できます 👀
設定前:
📝 Name: XXS 4DBU 5分 プレビュー
⏰ Current Auto-stop: 5 minutes
設定後:
📝 Name: XXS 4DBU 5分 プレビュー
⏰ Current Auto-stop: 1 minutes ← 🔥 1分に変更成功！
🎯 活用シーン
この裏技は以下のような場面で特に有効です 💪
🛠️ 開発・テスト環境での活用
開発中は頻繁にクエリを実行したり停止したりするため、1分設定により素早いリソース解放が実現できます ⚡
📊 アドホッククエリの実行環境
不定期にクエリを実行する分析環境では、使用していない時間を最小限に抑えることができます 📉
🌟 すべてのWarehouseを一括更新
複数のWarehouseを管理している場合は、以下のコードですべてのWarehouseをリスト表示し、一括更新も可能です 🚀
def list_all_warehouses():
"""
📋 すべてのSQL Warehousesをリスト表示
"""
url = api_base
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
warehouses = response.json().get('warehouses', [])
print("=" * 60)
print("📊 利用可能なSQL Warehouses:")
print("-" * 60)
for wh in warehouses:
print(f" 🏢 Name: {wh.get('name')}")
print(f" 🆔 ID: {wh.get('id')}")
print(f" 🚦 State: {wh.get('state')}")
print(f" ⏰ Auto-stop: {wh.get('auto_stop_mins', 'Not set')} minutes")
print(f" 📏 Size: {wh.get('cluster_size')}")
print("-" * 60)
return warehouses
except requests.exceptions.RequestException as e:
print(f"❌ エラー: Warehouseリストの取得に失敗しました")
return []
# 🔥 実行
warehouses = list_all_warehouses()
# 💡 すべてのWarehouseを1分設定に変更
for wh in warehouses:
print(f"🔄 更新中: {wh['name']}")
update_auto_stop_mins(wh['id'], 1)
print(f"✅ 完了: {wh['name']}\n")
💰 コスト削減効果のシミュレーション
📈 実際の削減例
🕐 1日の使用パターン例：
• クエリ実行回数：50回
• 1クエリの処理時間：平均30秒
• 業務時間：8時間
📊 デフォルト設定（5分）の場合：
• 総アイドル時間：250分 😱
• 実質稼働時間：25分
⚡ 1分設定の場合：
• 総アイドル時間：50分 🎉
• 実質稼働時間：25分
💰 削減効果：アイドル時間を200分削減！
🏆 まとめ
この裏技により、以下のメリットが得られます：
✅ GUIでは不可能な1分設定を実現 🔓
✅ Serverless SQL Warehouseの5秒起動を最大活用 ⚡
✅ 不要なアイドル時間を大幅削減 💰
✅ 開発効率とコスト効率の両立 🚀
🔗 関連リソース
📚 Databricks SQL Warehouses Documentation
🛠️ Databricks REST API Reference
💡 Databricks Cost Optimization Guide
この記事が役に立ったら、ぜひストック⭐とLGTM👍をお願いします！
コメント欄で皆さんの環境での削減効果も教えてください 💬 質問や改善提案も大歓迎です 🙌