こちらのアップデートです。
_sqldfを用いた後続のSQLセルでのSQLアウトプットの再利用
Databricksランタイム14.3以降では、DatabricksノートブックでSQLクエリーを実行すると、後続のSQLセルで利用できる暗黙的なデータフレーム(
_sqldf)を生成します。これは、Databricks 13.3で導入されたPythonの_sqldf変数の活用に対する追加サポートとなります。SQLセルの結果の探索をご覧ください。
試してみます。ちなみにサーバレスコンピュートでも使えました。
%sql
SELECT * FROM takaakiyayoi_catalog.ai_functions.blog
結果の下にSQLセルでも使える旨が表示されています。
まずは、Pythonセルで。こちらは以前からサポートされていた機能です。
display(_sqldf)
アクセスできました。
次はSQLセルで。
%sql
SELECT * FROM _sqldf
こちらも動きました。
地味なエンハンスではありますが、開発体験の改善に寄与するものだと思います。