LoginSignup
1
0

AWS GlueでCrawlingして変なテーブル名を命名された場合の対応

Last updated at Posted at 2024-02-15

背景

aws glueのcrawlerでファイルをcrawlすると、テーブルに思いもよらぬ名前がつけられることがあるかと思います
プレフィックスで対応できると良いのですが、そうもいかない場合も多いかと思います

今回その状況になって、思ったよりも素直に対応できなかったので、その方法を残しておきます
なお、コンソールからは見つけることが出来ませんでした

google先生にお聞きするとHow set name for crawled table?の記事がヒットしました
(Geminiの回答はいけてませんでした)
初め見た時は、create_tableとあったので、新規にテーブルを作りたいんじゃないけどって思いましたが、元テーブルのメタ情報を引き継いで新しい名前のテーブルを作るので、これで大丈夫ですね

年月がかなり経っていますのでそのままではエラーになりましたが、1箇所の修正とCrawlerの設定変更で対応できました

対応内容

その1

get_tableで取ってきたtable_inputからキーをpopしている箇所で、下のVersionIdを追加

update_table.py
table_input.pop("VersionId")

その2

Crawlerの設定変更

Crawl結果のマッピング先をリネームしたテーブルにして(Not YetからYesに)
スクリーンショット 2024-02-15 14.45.33.png

一番下のupdate〜のチェックボックスを外す必要がありました
こちらの操作は謎ですが、エラーになりましたので一旦外しました
必要に迫られたらAthenaクエリ等々から設定することにします

スクリーンショット 2024-02-15 14.47.23.png

こちらの投稿が何方かのお役に立つと嬉しく思います

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0