こんにちは。
大規模テキストデータを短時間・正確分析に必要な業務能力について ChatGPT と問答しました。この能力は、ハッキングログデータ分析・データサイエンス分析などでは必須かもしれません。
ChatGPT の答えによると、達人は必要に応じて下記の階層で分析の深度化を進めるとのことです。しかし全ての階層の能力を身につけるには学習難度が高そうですね。
分析階層例
第0階層
$ wc -l auth.log
$ head auth.log
第一階層（ワンライナー）
$ grep "Failed password" auth.log \
| awk '{print $11}' \
| sort \
| uniq -c \
| sort -nr
第二階層（シェルスクリプト）
failed_password.sh
#!/bin/sh
logfile=${1:-"auth.log"}
[ -e $logfile ] || exit 1
grep "Failed password" $logfile \
| awk '{print $11}' \
| sort \
| uniq -c \
| sort -nr
深度化階層
ワンライナー (grep, sort, sed, awk, sort, jq, ripgrep, ...)
↓
シェルスクリプト
↓
Python
↓
Go
↓
Rust （クラウド上実行も多い）