Pythonのデータ前処理/分析モジュール『pandas』の逆引きチートシート

import pandas as pd
import numpy as np

s = pd.Series(data=[295, 201, 7])
print(s.to_markdown())
# |    |   0 |
# |---:|----:|
# |  0 | 295 |
# |  1 | 201 |
# |  2 |   7 |

s = pd.Series(data=[295, 201, 7], index=['apple', 'banana', 'cherry'])
print(s.to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 295 |
# | banana | 201 |
# | cherry |   7 |

print(s.index)
# Index(['apple', 'banana', 'cherry'], dtype='object')

s = pd.Series(data={'apple': 295, 'banana': 201, 'cherry': 7}))
print(s.to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 295 |
# | banana | 201 |
# | cherry |   7 |

print('apple' in s)
# True

print('dorian' in s)
# False

for index, (key, value) in enumerate(s.items()):
    print(index, key, value)
# 0 apple 295
# 1 banana 201
# 2 cherry  7

print(s['banana'])
# 201

print(s[-1])
# 7

print(s[0:2].to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 295 |
# | banana | 201 |

print(s[['apple', 'cherry']].to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 295 |
# | cherry |   7 |

print(s[[False, True, True]].to_markdown())
# |        |   0 |
# |:-------|----:|
# | banana | 201 |
# | cherry |   7 |

print(s[s>100].to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 295 |
# | banana | 201 |

print((s*3).to_markdown())
# |        |   0 |
# |:-------|----:|
# | apple  | 885 |
# | banana | 603 |
# | cherry |  21 |

print(np.sqrt(s).to_markdown())
# |        |        0 |
# |:-------|---------:|
# | apple  | 17.1756  |
# | banana | 14.1774  |
# | cherry |  2.64575 |

s.name = 'weight'
s.index.name = 'fruits'
print(s.to_markdown())
# | fruits   |   weight |
# |:---------|---------:|
# | apple    |      295 |
# | banana   |      201 |
# | cherry   |        7 |

data = {
    'weight(g)': [295, 201, 7],
    'kcal/100g': [61, 86, 60],
    'brix(%)': [15, 21, 16]
}
df = pd.DataFrame(data=data)
print(df.to_markdown())
# |    |   weight(g) |   kcal/100g |   brix(%) |
# |---:|------------:|------------:|----------:|
# |  0 |         295 |          61 |        15 |
# |  1 |         201 |          86 |        21 |
# |  2 |           7 |          60 |        16 |

print(df.values)
# array([[295,  61,  15],
#        [201,  86,  21],
#        [  7,  60,  16]])

print(df.index)
# RangeIndex(start=0, stop=3, step=1)

print(df.columns)
# Index(['weight(g)', 'kcal/100g', 'brix(%)'], dtype='object')

df = pd.DataFrame(data=data, index=['apple', 'banana', 'cherry'])
print(df.to_markdown())
# |        |   weight(g) |   kcal/100g |   brix(%) |
# |:-------|------------:|------------:|----------:|
# | apple  |         295 |          61 |        15 |
# | banana |         201 |          86 |        21 |
# | cherry |           7 |          60 |        16 |

data = [
    [295, 61, 15],
    [201, 86, 21],
    [7, 60, 16]
]
df = pd.DataFrame(data=data, index=['apple', 'banana', 'cherry'], columns=['weight(g)', 'kcal/100g', 'brix(%)'])
print(df.to_markdown())
# |        |   weight(g) |   kcal/100g |   brix(%) |
# |:-------|------------:|------------:|----------:|
# | apple  |         295 |          61 |        15 |
# | banana |         201 |          86 |        21 |
# | cherry |           7 |          60 |        16 |

s1 = pd.Series([295, 201, 7], index=['apple', 'banana', 'cherry'])
s2 = pd.Series([61, 86, 60], index=['apple', 'banana', 'cherry'])
s3 = pd.Series([15, 21, 16], index=['apple', 'banana', 'cherry'])

df = pd.DataFrame(data={'weight(g)': s1, 'kcal/100g': s2, 'brix(%)': s3})
print(df.to_markdown())
# |        |   weight(g) |   kcal/100g |   brix(%) |
# |:-------|------------:|------------:|----------:|
# | apple  |         295 |          61 |        15 |
# | banana |         201 |          86 |        21 |
# | cherry |           7 |          60 |        16 |

s1 = pd.Series([295, 201, 7], index=['apple', 'banana', 'cherry'], name='weight(g)')
s2 = pd.Series([61, 86, 60], index=['apple', 'banana', 'cherry'], name='kcal/100g')
s3 = pd.Series([15, 21, 16], index=['apple', 'banana', 'cherry'], name='brix(%)')

df = pd.concat([s1, s2, s3], axis=1)
print(df.to_markdown())
# |        |   weight(g) |   kcal/100g |   brix(%) |
# |:-------|------------:|------------:|----------:|
# | apple  |         295 |          61 |        15 |
# | banana |         201 |          86 |        21 |
# | cherry |           7 |          60 |        16 |

print(df['weight(g)'].to_markdown())
# |        |   weight(g) |
# |:-------|------------:|
# | apple  |         295 |
# | banana |         201 |
# | cherry |           7 |

print(df.loc['banana'].to_markdown())
# |           |   banana |
# |:----------|---------:|
# | weight(g) |      201 |
# | kcal/100g |       86 |
# | brix(%)   |       21 |

print(df.loc['banana', 'weight(g)'])
# 201

df = pd.read_csv('CSVファイルのパス')

df.to_csv('保存先のCSVファイルのパス')

df = pd.read_sql(sql='SELECT * FROM テーブル名;', con=create_engine('データベースのURL'))

df.to_sql(name='テーブル名', con=create_engine('データベースのURL'), if_exists='append', index=False)

df = sns.load_dataset('データセット名')

from sklearn.model_selection import train_test_split

Xdf = df.drop(columns='目的変数の列名') # 特徴量
ydf = df['目的変数の列名']              # 目的変数

Xtrain, Xtest, ytrain, ytest = train_test_split(
    Xdf,             # 第1引数、特徴量の２次元配列 : arr_2d, np.ndarray, pd.DataFrame, sp.sparse
    ydf,             # 第２引数、目的変数の1次元配列 : arr_2d, np.ndarray, pd.DataFrame, sp.sparse
    test_size=0.3,   # テスト用データのサイズ。Noneの場合、train_sizeの補数 : float, default=0.25
    train_size=None, # 学習用データのサイズ。Noneの場合、test_sizeの補数 : float, default=None
    random_state=1,  # 乱数値を固定 : int, default=None
)

# Returns:
#     Xtrain : 学習用データの特徴量マトリックス。DataFrame
#     Xtest  : テスト用データの特徴量マトリックス。Series
#     ytrain : 学習用データの目的変数の配列。DataFrame
#     ytest  : テストデータの目的変数の配列。Series

df.groupby(
    by='sex',         # グルーピングする列名 : column, list of columns
    # axis=1,         # グルーピングする方向 : {0 or 'index', 1 or 'columns'}, default 0
    # as_index=False, # グループラベルをインデックスにする : bool, default True
).agg(
    {'age': ['min', 'median', 'max']} # 列名と集約関数の１次元配列でマッピングされた辞書
)

# Returns:
#     DataFrame

df.pivot_table(
    index=['sex', 'class'],     # グルーピングする列名(行) : column, list of columns
    columns='survived',         # グルーピングする列名(列) : column, list of columns
    values='fare',              # 集約関数を適用する列名 : column, list of columns
    aggfunc=['count', np.mean], # 集約関数 : function, list of functions, default np.mean
    # fill_value=0,             # 集計後の欠損値を指定した値で穴埋め : scalar, default None
    # margins=True,             # カテゴリごとの小計・総計を算出 : bool, default False
    # margins_name='All',       # 小計・総計のラベル名を変更 : str, default 'All'
)

# Returns:
#     Excel形式のピボットテーブル。DataFrame

df['generation'] = pd.cut(
    x=df['age'],
    bins=[-1, 17, 24, 34, 44, 54, 64, df['age'].max()],                 # 要素数で等分割または境界値を指定して分割 : int, sequence of scalars
    labels=['0-17', '18-24', '25-34', '35-44', '45-54', '55-64', '65-'] # 返されるビンのラベルを指定 : array or False, default None
    # right= False,                                                     # 左右どちらのエッジを含めるか指定 : bool, default True
    # retbins=True,                                                     # 境界値のリストを返すかどうか : bool, default False
)

# Returns:
#     out : ビニング処理されたシリーズ。Categorical, Series, or ndarray
#     bins : 境界値のリスト(retbins=Trueの場合のみ)。numpy.ndarray or IntervalIndex

from sklearn import preprocessing as pp

# 正規化する
scaler = pp.MinMaxScaler()
df[['age', 'fare']] = scaler.fit_transform(df[['age', 'fare']])

# 要約統計量を表示
print(df[['age', 'fare']].describe().to_markdown())
# |       |        age |        fare |
# |:------|-----------:|------------:|
# | count | 714        | 891         |
# | mean  |   0.367921 |   0.0628584 |
# | std   |   0.18254  |   0.0969951 |
# | min   |   0        |   0         | <--
# | 25%   |   0.247612 |   0.0154401 |
# | 50%   |   0.346569 |   0.0282127 |
# | 75%   |   0.472229 |   0.060508  |
# | max   |   1        |   1         | <--

from sklearn import preprocessing as pp

# 標準化する
scaler = pp.StandardScaler()
df[['age', 'fare']] = scaler.fit_transform(df[['age', 'fare']])

# 要約統計量を表示
print(df[['age', 'fare']].describe().to_markdown())
# |       |           age |          fare |
# |:------|--------------:|--------------:|
# | count | 714           | 891           |
# | mean  |   2.17419e-16 |  -4.37361e-17 | <--
# | std   |   1.0007      |   1.00056     | <--
# | min   |  -2.01698     |  -0.648422    |
# | 25%   |  -0.659542    |  -0.489148    |
# | 50%   |  -0.117049    |  -0.357391    |
# | 75%   |   0.571831    |  -0.0242464   |
# | max   |   3.46513     |   9.66717     |