関数の説明
データフレームを貰ったときに、そのデータフレームの要約情報を
summaryやstrといった関数で取り出すと思いますが、
それだけでは色々な使い方をする際に、足りないと感じる部分があったので、
欲しいなと思う情報を取り出して、データフレームにして返す関数を作ってみた。
データフレームから取り出したい情報について
データフレームの概要を見る時に欲しい情報はかなり多岐に渡ると思いますが、
その中でもnaの数や、factorのユニークな値の数、
その変数がユニークキーとなり得るのか、そうした点を中心に関数を構成しました。
作成される変数一覧
| 変数名 | 量的変数時 | カテゴリ変数時 |
|---|---|---|
| colname | 変数名 | 変数名 |
| class_info | 変数のクラス | 変数のクラス |
| unique_flag | ユニークなキーとして使えるかどうか | ユニークなキーとして使えるかどうか |
| max | 最大値 | 文字列にしたときの最大サイズ |
| min | 最小値 | 文字列にしたときの最大サイズ |
| na | naの数 | naの数 |
| na_ratio | naの比率 | naの比率 |
| data | ユニークな値の数 | ユニークな値の数 |
| range | 最大値-最小値 | |
| rec_n | レコード数＋naの数 | |
| mean | 平均値 | |
| median | 中央値 | |
| sd | 標準偏差 | |
| lower_sd3 | 平均ー標準偏差×３ | |
| upper_sd3 | 平均＋標準偏差×３ | |
| lower_outlier | 下側外れ値 | |
| upper_outlier | 上側外れ値 | |
| co_var | 変動係数 | |
| ch_var_index | 平均と中央値の差の絶対値を標準偏差で割った数。対数変換をしたほうが良いのかの指標にできる |
関数内容
df_info <- function(dataframe){
require(tidyverse)
dataframe_head <- head(dataframe) #クラス情報を取るのに軽くするために頭だけにする
class_info <- sapply(dataframe_head, class) %>%
data.frame(.)
DF <- data.frame(colname = as.character(""), class_info = as.character(""), unique_flag = as.character(""), max = 0, min = 0,
na = 0,na_ratio = 0, data = 0, range = 0,rec_n = 0,
mean = 0, median = 0, sd = 0, lower_sd3 = 0, upper_sd3 = 0, lower_outlier = 0, upper_outlier = 0,
co_var = 0, ch_var_index = 0,
stringsAsFactors = FALSE )
for (c in 1:ncol(dataframe_head)){
class_data <- ifelse(ncol(class_info) >1, class_info[[1,c]], as.character(class_info[c,]))
#print(class_info[[1,c]])
#print(colnames(dataframe_head)[c])
#print(class_data)
if (class_data == "integer" | class_data == "numeric"){
unique <- length(unique(dataframe[,c]))
counter<- plyr::count(is.na(dataframe[,c]))
colnames(counter)[1] <- "x"
na <- filter(counter, x == TRUE)$freq
na <- as.numeric(ifelse(length(na) == 0, 0, na))
data <- filter(counter, x == FALSE)$freq
data <- as.numeric(ifelse(length(data) == 0, 0, data))
max_data <- max(dataframe[,c], na.rm = TRUE)
min_data <- min(dataframe[,c], na.rm = TRUE)
range_data <- max_data - min_data
rec_n <- na + data
unique_key <- ifelse(rec_n == unique, "UNIQUE", "")
na_ratio <- round(na/rec_n, 2)
if(sum(dataframe[,c]) == 0) {
median_df <- 0
mean_df <- 0
sd_df <- 0
lower_outlier_line <- 0
upper_outlier_line <- 0
lower_outlier <- 0
upper_outlier <- 0
co_var <- 0
ch_var_index <- 0
}else{
median_df <- median(dataframe[,c], na.rm = TRUE)
mean_df <- mean(dataframe[,c], na.rm = TRUE)
sd_df <- sd(dataframe[,c])
lower_outlier_line <- mean_df-sd_df*3
upper_outlier_line <- mean_df+sd_df*3
lower_outlier <- sum(dataframe[,c]<=lower_outlier_line, na.rm = TRUE)
upper_outlier <- sum(dataframe[,c]>=upper_outlier_line, na.rm = TRUE)
co_var <- round(sd_df/mean_df,2) # coefficient of variance
ch_var_index <- round(abs(mean_df - median_df)/sd_df,2) # 対数変換したほうがいいかという指標
}
DF[c,] <- c(colnames(dataframe_head)[c],
as.character(class_data),
unique_key,
max_data,
min_data,
na,
na_ratio,
data,
range_data,
rec_n,
round(mean_df,2),
median_df,
round(sd_df,2),
round(lower_outlier_line,2),
round(upper_outlier_line,2),
lower_outlier,
upper_outlier,
co_var,
ch_var_index
)
}else if (class_data == "character" | class_data == "factor" | class_data == "ordered" ){
counter<- plyr::count(is.na(dataframe[,c]))
colnames(counter)[1] <- "x"
na <- filter(counter, x == TRUE)$freq
na <- as.numeric(ifelse(length(na) == 0, 0, na))
data <- filter(counter, x == FALSE)$freq
data <- as.numeric(ifelse(length(data) == 0, 0, data))
rec_n <- na +data
na_ratio <- round(na/rec_n, 2)
char <- as.character(dataframe[,c])
max_char <- max(nchar(char), na.rm = TRUE)
min_char <- min(nchar(char), na.rm = TRUE)
range <- nlevels(as.factor(dataframe[,c]))
unique_key <- ifelse(rec_n == range, "UNIQUE", "")
DF[c,] <- c(colnames(dataframe_head)[c],
as.character(class_data),
unique_key,
max_char,
min_char,
na,
na_ratio,
data,
range,
rec_n,
"",
"",
"",
"",
"",
"",
"",
"",
""
)
} else{
counter<- plyr::count(is.na(dataframe[,c]))
colnames(counter)[1] <- "x"
na <- filter(counter, x == TRUE)$freq
na <- as.numeric(ifelse(length(na) == 0, 0, na))
data <- filter(counter, x == FALSE)$freq
data <- as.numeric(ifelse(length(data) == 0, 0, data))
rec_n <- na +data
na_ratio <- round(na/rec_n, 2)
range <- nlevels(as.factor(dataframe[,c]))
unique_key <- ifelse(rec_n == range, "UNIQUE", "")
DF[c,] <- c(colnames(dataframe_head)[c],
as.character(class_data),
"",
"",
"",
na,
na_ratio,
data,
nlevels(as.factor(dataframe[,c])),
rec_n,
"",
"",
"",
"",
"",
"",
"",
"",
"",
""
)
}
}
DF
}
実際に関数にデータフレームを入れてみましょう
newdata <- esoph
test <- df_info(newdata)
結果は下記のようなデータフレーム型で帰ってきます。
|row_no|colname|class_info|unique_flag|max|min|na|na_ratio|data|range|rec_n|mean|median|sd|lower_sd3|upper_sd3|lower_outlier|upper_outlier|co_var|ch_var_index|
|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|-----|
|1|agegp|ordered||5|3|0|0|88|6|88||||||||||
|2|alcgp|ordered||9|4|0|0|88|4|88||||||||||
|3|tobgp|ordered||8|3|0|0|88|4|88||||||||||
|4|ncases|numeric||17|0|0|0|88|17|88|2.27|1|2.75|-5.99|10.53|0|1|1.21|0.46|
|5|ncontrols|numeric||60|1|0|0|88|59|88|11.08|6|12.72|-27.09|49.25|0|1|1.15|0.4|
更にここをこうした方がいいんじゃないか、という点などがあれば、ぜひご意見をください。