はじめに
pandasは、データ分析のためのデータ構造やツールを提供するライブラリです。データフレーム（DataFrame）やシリーズ（Series）というデータ構造を使って、簡単にデータの抽出、加工、分析が可能です。ここでは、pandasの基本的な使い方を書いていきます！
データ構造
pandasは、NumPyを基盤として構築されていますが、より高レベルなデータ操作を可能にしています。主に使用されるデータ構造は以下の2つです。
シリーズ（Series）: 一次元の配列で、ラベル（インデックス）が付いています。辞書のようなデータ構造と考えると理解しやすいです。
データフレーム（DataFrame）: 二次元のテーブル形式のデータ構造で、行と列にラベルが付いています。エクセルのスプレッドシートのようなものです。
データフレーム作成
まずは、pandasをインポートして、基本的なデータフレームを作成します。
import pandas as pd
data = {
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35],
'Occupation': ['エンジニア', 'デザイナー', '医者']
}
df = pd.DataFrame(data)
print(df)
出力結果↓
Name Age Occupation
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
データの抽出
データフレームから特定の行や列を抽出する基本的な方法を紹介します。
・列の抽出
データフレームの特定の列を抽出するには、列名を指定します。列名を指定する方法には、角括弧を使う方法と、ドットを使う方法の2つがあります。
data = {
'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Occupation': ['Engineer', 'Designer', 'Doctor']
}
df = pd.DataFrame(data)
# 'Name'列を抽出
names = df['Name']
print(names)
出力結果↓
0 Alice
1 Bob
2 Charlie
Name: Name, dtype: object
・複数の列を抽出する
# 'Name'と'Occupation'列を抽出
subset = df[['Name', 'Occupation']]
print(subset)
出力結果↓
Name Occupation
0 Alice Engineer
1 Bob Designer
2 Charlie Doctor
・行の抽出
インデックスを使って行を抽出することができます。インデックスには、整数インデックス（位置）を使う方法と、ラベル（行ラベル）を使う方法があります。
ilocを使うと、整数インデックスを使って行を抽出できます。
# インデックスが1の行を抽出
row = df.iloc[1]
print(row)
出力結果↓
Name Bob
Age 30
Occupation Designer
Name: 1, dtype: object
locを使うと、ラベルを使って行を抽出できます。
# 行ラベルが1の行を抽出
row = df.loc[1]
print(row)
出力結果は上記と同じになります。
・複数の行を抽出する
複数の行を抽出する場合は、インデックスやラベルのリストを使います。
# インデックスが0と2の行を抽出
rows = df.iloc[[0, 2]]
print(rows)
出力結果↓
Name Age Occupation
0 Alice 25 Engineer
2 Charlie 35 Doctor
・ 条件に基づく抽出
Ageが30以上の行を抽出しています。
# 'Age'が30以上の行を抽出
filtered_df = df[df['Age'] >= 30]
print(filtered_df)
出力結果↓
Name Age Occupation
1 Bob 30 Designer
2 Charlie 35 Doctor
・複数の条件を使った抽出
複数の条件を組み合わせて抽出する場合は、ANDやORを使います。
# 'Age'が30以上かつ'Occupation'が'Doctor'の行を抽出
filtered_df = df[(df['Age'] >= 30) & (df['Occupation'] == 'Doctor')]
print(filtered_df)
出力結果↓
Name Age Occupation
2 Charlie 35 Doctor
データ加工
pandasではデータ分析の前処理やクリーニング、解析のために、データの追加、削除、変換、集計、再構成など、さまざまなデータ加工がサポートされています。
・新しい列の追加
計算結果や他の列の情報を使って、新しい列を追加することができます。
data = {
'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Occupation': ['Engineer', 'Designer', 'Doctor']
}
df = pd.DataFrame(data)
# 'Age'に1を加えた新しい列'New Age'を追加
df['New Age'] = df['Age'] + 1
print(df)
出力結果↓
Name Age Occupation New Age
0 Alice 25 Engineer 26
1 Bob 30 Designer 31
2 Charlie 35 Doctor 36
・列の削除
不要な列を削除するには、drop()メソッドを使用します。axis=1で列を削除することを指定します。
# 'New Age'列を削除
df = df.drop('New Age', axis=1)
print(df)
出力結果↓
Name Age Occupation
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
・行の追加
新しい行を追加するには、locまたはappend()メソッドを使用します。
# 新しい行を追加
new_row = pd.Series({'Name': 'David', 'Age': 40, 'Occupation': 'Artist'})
df = df.append(new_row, ignore_index=True)
print(df)
出力結果↓
Name Age Occupation
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
3 David 40 Artist
・データの置換
特定の値を他の値に置き換えるには、replace()メソッドを使用します。
# 'Occupation'列の'Engineer'を'Architect'に置換
df['Occupation'] = df['Occupation'].replace('Engineer', 'Architect')
print(df)
出力結果↓
Name Age Occupation
0 Alice 25 Architect
2 Charlie 35 Doctor
3 David 40 Artist
・データの集計
pandasでは、さまざまな集計関数を使用して、データを集計できます。
# 'Age'列の合計を計算
total_age = df['Age'].sum()
print(f'年齢の合計: {total_age}')
出力結果↓
年齢の合計: 100
# 'Age'列の平均を計算
mean_age = df['Age'].mean()
print(f'平均年齢: {mean_age}')
出力結果↓
平均年齢: 33.333333333333336
・グループ化して集計
groupbyメソッドを使用すると、特定のカテゴリでデータをグループ化し、集計を行うことができます。
# 'Occupation'ごとの平均年齢を計算
grouped = df.groupby('Occupation')['Age'].mean()
print(grouped)
出力結果↓
Occupation
Architect 25.0
Senior 37.5
Name: Age, dtype: float64
・データの再構成
pivot_tableメソッドを使用すると、データをピボットテーブル形式に再構成できます。
data = {
'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'Occupation': ['Engineer', 'Designer', 'Doctor', 'Artist'],
'Salary': [50000, 55000, 60000, 65000]
}
df = pd.DataFrame(data)
# 'Occupation'ごとの平均給与をピボットテーブルで表示
pivot_table = df.pivot_table(values='Salary', index='Occupation', aggfunc='mean')
print(pivot_table)
出力結果↓
Salary
Occupation
Artist 65000.0
Designer 55000.0
Doctor 60000.0
Engineer 50000.0
・データの変形
meltメソッドは、データフレームを縦長の形式に変形します。これは、データの長形式への変換に便利です。
# データフレームを縦長の形式に変形
melted = pd.melt(df, id_vars=['Name'], value_vars=['Age', 'Salary'])
print(melted)
出力結果↓
Name variable value
0 Alice Age 25
1 Bob Age 30
2 Charlie Age 35
3 David Age 40
4 Alice Salary 50000
5 Bob Salary 55000
6 Charlie Salary 60000
7 David Salary 65000
・行方向の結合
concatメソッドを使用して、複数のデータフレームを行方向に結合することができます。
df1 = pd.DataFrame({
'Name': ['Alice', 'Bob'],
'Age': [25, 30]
})
df2 = pd.DataFrame({
'Name': ['Charlie', 'David'],
'Age': [35, 40]
})
# 行方向に結合
df_concat = pd.concat([df1, df2], ignore_index=True)
print(df_concat)
出力結果↓
Name Age
0 Alice 25
1 Bob 30
2 Charlie 35
3 David 40
・列方向の結合
mergeメソッドを使用して、共通のキーを使ってデータフレームを結合することができます。
left = pd.DataFrame({
'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35]
})
right = pd.DataFrame({
'Name': ['Bob', 'Charlie', 'David'],
'Salary': [55000, 60000, 65000]
})
# 'Name'をキーとして結合
df_merged = pd.merge(left, right, on='Name', how='inner')
print(df_merged)
出力結果↓
Name Age Salary
0 Bob 30 55000
1 Charlie 35 60000
統計
pandasは統計量の計算もできます。基本的な統計量を計算するメソッドを紹介します。
・要約統計量の表示
describe()メソッドは、データの要約統計量を計算し、以下の統計量を表示することができます。
count: 欠損値を除いたデータの個数
mean: 平均値
std: 標準偏差
min: 最小値
25%: 第1四分位数（データの下位25%の値）
50%: 中央値（第2四分位数、データの中央値）
75%: 第3四分位数（データの上位25%の値）
max: 最大値
data = {
'Age': [23, 25, 28, 22, 30, 35, 40],
'Salary': [50000, 55000, 60000, 52000, 58000, 62000, 64000]
}
df = pd.DataFrame(data)
summary = df.describe()
print(summary)
出力結果↓
Age Salary
count 7.000000 7.000000
mean 29.000000 57333.333333
std 6.627722 5195.962293
min 22.000000 50000.000000
25% 24.500000 53000.000000
50% 28.000000 58000.000000
75% 33.750000 61000.000000
max 40.000000 64000.000000
・平均値
mean()メソッドは、各列の平均値を計算します。
mean_age = df['Age'].mean()
mean_salary = df['Salary'].mean()
print(f'平均年齢: {mean_age}')
print(f'平均給与: {mean_salary}')
出力結果↓
平均年齢: 29.0
平均給与: 57333.333333333336
・中央値
median()メソッドは、データの中央値を計算します。
median_age = df['Age'].median()
median_salary = df['Salary'].median()
print(f'年齢の中央値: {median_age}')
print(f'給与の中央値: {median_salary}')
出力結果↓
年齢の中央値: 28.0
給与の中央値: 58000.0
・分散
var()メソッドは、各列の分散を計算します。
variance_age = df['Age'].var()
variance_salary = df['Salary'].var()
print(f'年齢の分散: {variance_age}')
print(f'給与の分散: {variance_salary}')
出力結果↓
年齢の分散: 43.916666666666664
給与の分散: 26995000.0
・標準偏差
std()メソッドは、各列の標準偏差を計算します。
std_age = df['Age'].std()
std_salary = df['Salary'].std()
print(f'年齢の標準偏差: {std_age}')
print(f'給与の標準偏差: {std_salary}')
出力結果↓
年齢の標準偏差: 6.627722214849324
給与の標準偏差: 5195.962293475344
・最小値と最大値
min()とmax()メソッドは、各列の最小値と最大値をそれぞれ計算します。
min_age = df['Age'].min()
max_age = df['Age'].max()
min_salary = df['Salary'].min()
max_salary = df['Salary'].max()
print(f'最小年齢: {min_age}, 最大年齢: {max_age}')
print(f'最小給与: {min_salary}, 最大給与: {max_salary}')
出力結果↓
最小年齢: 22, 最大年齢: 40
最小給与: 50000, 最大給与: 64000
ラベリング
データフレームやシリーズの行や列に対して名前やラベルを付けて、データを視覚的に理解しやすくすることで簡単にデータ操作や分析を行えるようにできます。
データフレームやシリーズのラベリングには、インデックス（行ラベル）と列ラベルの2種類があります。
・インデックスの設定
data = {
'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Occupation': ['Engineer', 'Designer', 'Doctor']
}
# インデックスを指定してデータフレームを作成
df = pd.DataFrame(data, index=['A', 'B', 'C'])
print(df)
出力結果↓
Name Age Occupation
A Alice 25 Engineer
B Bob 30 Designer
C Charlie 35 Doctor
・インデックスの再設定
既存のデータフレームのインデックスを変更するには、set_index()メソッドを使用します。例えば、特定の列をインデックスとして使用したい場合に便利です。
# 'Name'列をインデックスとして設定
df = df.set_index('Name')
print(df)
出力結果↓
Age Occupation
Name
Alice 25 Engineer
Bob 30 Designer
Charlie 35 Doctor
・インデックスのリセット
インデックスをリセットして、デフォルトの整数インデックスに戻したい場合は、reset_index()メソッドを使用します。
# インデックスをリセット
df = df.reset_index()
print(df)
出力結果↓
Name Age Occupation
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
・列ラベルの変更
既存のデータフレームの列ラベルを変更するには、columns属性を使います。
# 列ラベルを変更
df.columns = ['Full Name', 'Years', 'Job Title']
print(df)
出力結果↓
Full Name Years Job Title
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
・特定の列ラベルを変更
データフレームの一部の列ラベルだけを変更したい場合は、rename()メソッドを使用します。
# 'Full Name'を'Name'に変更
df = df.rename(columns={'Full Name': 'Name'})
print(df)
出力結果↓
Name Years Job Title
0 Alice 25 Engineer
1 Bob 30 Designer
2 Charlie 35 Doctor
まとめ
pandasは、Pythonでのデータ操作や分析において非常に強力なツールです。データフレームやシリーズといったデータ構造を使って、データの抽出、加工、分析を効率的に行うことができます。これらをマスターすることで、より複雑なデータ分析や機械学習の前処理を行う際にも役立つと思います。