概要

Spark（Databricks）のPySparkにてデータフレーム操作する時にカラムを指定してデータ取得する方法を紹介します。

確認済みの4パターンにおけるコードを提示します。

カラム名を直接リストで指定する方法
カラム名をcol関数で指定する方法
カラム名をデータフレームのオブジェクト名（書式:DataFrameName['column_name']）で指定する方法
カラム名をデータフレームのオブジェクト名（書式:DataFrameName.column_name）で指定する方法

詳細は下記のGithub pagesのページをご確認ください。

コードを実行したい方は、下記のdbcファイルを取り込んでください。

https://github.com/manabian-/databricks_tecks_for_qiita/blob/main/tecks/how_to_select_columns_by_pyspark/dbc/how_to_select_columns_by_pyspark.dbc

検証環境

databricks runtime: 8.1.x-scala2.12
Python version: 3.8.8
pyspark version: 3.1.1.dev0

カラムを指定してデータを取得する方法

カラム名を直接リストで指定する方法

# 単一のカラムを指定する方法
df.select('c_custkey').limit(10).display()

# 複数のカラムを指定する方法
columns = ['c_custkey','c_name']
 
print(columns)
df.select(columns).limit(10).display()

カラム名をcol関数で指定する方法

# 単一のカラムを指定する方法
from pyspark.sql.functions import col
 
df.select(col('c_address')).limit(10).display()

# 複数のカラムを指定する方法
from pyspark.sql.functions import col
 
columns = ['c_address', 'c_nationkey']
 
col_columns = []
for column in columns:
    col_columns.append(col(column))
 
print(col_columns)    
df.select(col_columns).limit(10).display()

カラム名をデータフレームのオブジェクト名（書式:DataFrameName['column_name']）で指定する方法

# 単一のカラムを指定する方法
 
df.select(df['c_phone']).limit(10).display()

# 複数のカラムを指定する方法
columns = ['c_phone', 'c_acctbal']
 
col_columns = []
for column in columns:
    col_columns.append(df[column])
 
print(col_columns)
df.select(col_columns).limit(10).display()

カラム名をデータフレームのオブジェクト名（書式:DataFrameName.column_name）で指定する方法

# 単一のカラムを指定する方法
 
df.select(df.c_mktsegment).limit(10).display()

# 複数のカラムを指定する方法
columns = [df.c_mktsegment, df.c_comment]
 
print(columns)
df.select(columns).limit(10).display()