ファイルのなかみをみる、ファイルの操作をする
備忘録の一種です。
なんだか書いてるうちに量が増えてしまいました。長くて申し訳ございませぬ。
（エディタの話は書いてないので別途でどうぞ。vimならvimtutorとうつと練習画面が出ます。）
・まずファイルの種類を知る
file file.txt
実行可能なファイルなのか、バイナリなのか読めそうなのか等がわかる
・ファイルの一般的な情報を表示する
ls -lrt file.txt
ファイルの権限や所有者やディレクトリなのかファイルなのかサイズはどのくらいかをみる
・ファイルが大きすぎるとき頭の一部分だけ表示してみる
head -10 file.txt
・ファイルが大きすぎるとき最後のほうの一部分だけ表示してみる
tail -10 file.txt
・ログファイルを更新を取り込みながら見続けるには
tail -f file.txt
・moreとlessとviewの違い
more file.txt
less -r file.txt
view file.txt
moreは改行が見づらいとか途中で落ちるとswpファイルが残るとか重いとか検索途切れるとかあるけど
大き目のファイルを読むときにあきらめやすいとかもある模様。
lessは早いとか検索しやすいとかは言われるがでかいの見るときにつらいという噂も。
viewは実は:w!で強制上書きが可能だったりする
・特定の内容がかいてあるかを調べる
grep '文字列' file.txt
・ファイルの行数をしらべる
wc -l file.txt
・ファイルのタイムスタンプを変える
hoge.fileのタイム・スタンプを現在の時間に変更する
$ touch hoge.file
hoge.fileのタイム・スタンプを2003年1月1日の00:00:00に変更する
$ touch -d "2003/1/1 00:00:00 am" hoge.file
（sudoするとsecureにログが残るし個人のhistoryにもコマンドは残る）
・ファイルの共有ライブラリをしらべる
ldd filename
どのライブラリに依存してるか表示されます。
ソースからmake installしたあとに確認に使うケース以外をよく知らない。
みためライブラリのパスとおってなかったら通す用途などに。
http://www.8wave.net/ldconfig.html
・ディレクトリを移動する
cd
pushd
popd
・特定の内容が書いてあるファイルを探す
find ./ -print |xargs grep '文字列'
場所と文字列は任意に指定する
・特定の名前のファイルを探す
find ./ -name "*hoge*" -print
ダブルクォートでくくると正規表現を認識してくれるが
シングルクォートだと特殊文字も文字列として解釈される（たぶん）
・日本語がファイル名についてるファイルを探す
# find ./ -name [^\x00-\x7F]*
./あああ.txt
・空白が含まれるファイルを探す
http://sea-otter-factory.blogspot.jp/2008/07/unix-xargs.html
http://d.hatena.ne.jp/yamamucho/20090923/1253708318
http://qiita.com/daei/items/76635f9fbf25824b525e
・ファイルの権限を変える
chmod -R 777 file.txt
-Rでディレクトリを指定した場合は再帰的にその下のファイルも権限が変わる。
権限については詳しくは"linux file パーミッション"などでググるとよいでしょう。
・ファイルの所有者を変える
chown root. -R file.txt
username.はusername.groupnameと同じ。上記の例だとuserおよびグループ所有者が両方ともrootになる。
・ユーザが作るファイルの権限をあらかじめ調整する
skelとかprofileで可能になる。
・標準入力からヒアドキュメントでファイルをつくる
catコマンドとリダイレクトを使います
cat > file.txt <<EOF
hoge
fuga
piyo
EOF
・ファイルの名前を変える
srcfilnameからdestfilnameに変える
mv srcfilename destfilename
ちょっとだけ正規表現で名前を変える
mv /etc/my.cnf{,.org}
一括で置換する
find . -name "*__keyword__*" | sed 'p;s/__keyword__/__replace_keyword__/g' | xargs -n2 mv
・ファイルをアーカイブする
cd ${JENKINS_HOME}
tar zcf ${JENKINS_BKUP_DIR}/${ARCHIVE_DATA} --exclude-from=${EXCLUDE_FILE} .
・アーカイブに別のファイルを追加する
tar cf hoge.tar ./hoge
tar rf hoge.tar ./fuga
・アーカイブファイルを展開する
tar xvzf hoge.tar.gz
・アーカイブしたファイルに入ってるファイルを知る
tar tf hoge.tar
tar tzf hoge.tar.gz
・パスワード付きの圧縮ファイルをつくる
zip -e -P hogehoge -r hoge.zip hoge
・パスワード付きの圧縮ファイルを解凍する
unzip -P hogehoge hoge.zip
ディレクトリ指定で解凍する場合は-dをつける
unzip -P hogehoge -d dir1 hoge.zip
・差分パッチファイルを作る
・ディレクトリ丸ごと比較した差分パッチファイルを作る
diff -crN bash-4.1.org bash-4.1 > ${HOME}/rpmbuild/SOURCES/bash-syslog_facirity.patch
・特定の容量でファイルの分割をする
$ seq 1 10000 >> hoge 2>&1
$ ls -lh hoge
-rw-r--r-- 1 root root 48K 3月 15 16:19 2017 hoge
$ split --line-bytes=24k hoge fuga
$ ls fuga*
fugaaa fugaab
$ tail -1 fugaaa
5136
$ head -1 fugaab
5137
・特定の文字列でファイルの分割をする
csplit dumpfile '/DROP TABLE IF EXISTS/' {*}
・ファイルをおおざっぱに連結する
横につなげるなら
paste -d "," file1 file2
縦につなげるなら
cat file1 file2
・ファイルをカラムを指定して連結する
join -a 1 -j1 1 -j2 2 -t : -o 1.1,1.2,1.3,2.2,2.3 txt1 txt2 > file
１番目のファイルは一致しない部分も全て出力、キーのフィールドは１、２番目のファイルのキーのフィールドは２。
区切り文字を指定して、出力するフィールドを指定、引数ファイルを並べて出力ファイルにリダイレクトする。
sortしてからjoinしないと大体失敗する。
・ファイルをコピーする
cp <source-file> <dest-file>
・ファイルを置き換える
mv <source-file> <dest-file>
・ファイルの中身を置換する
sed -e 's/^ //g' -e 's/ \{1,100\}/,/g' file-a > file-b
file-aの先頭のスペースを全行削除して1～100までの連続したスペースをカンマひとつに変換しfile-bに出力する。
sの前に行数を指定することもできる。
※同じこと(スペースをまとめる)がtr -s ' 'でできます。
sed -e '5,10d' file
ファイルの5行目から10行目を削除する
sed '/^$/d' sample.txt
空白行を消す
sed -e '/error/i ##check-line###' log.file
ログファイルにerrorがあったらチェックラインを追加
sed -i 's/enabled = 1/enabled = 0/g' /etc/yum.repos.d/rpmforge.repo
直接中身を書き換えている(iオプションの後ろに.bkなどのサフィックスを指定するとバックアップファイルが作られます）
head -1 log |sed 's/ [^ ]*@/ XXX@/g'
2010/04/01 00:00:24 sent 30000 XXX@softbank.ne.jp 123.123.60.252 XXX@hoge.net
メールログっぽいもののアカウントをマスクしてる（調査依頼時用）
[^ ]はスペース以外のすべての文字列と記号をあらわす正規表現。
ec2-describe-instances -K ./pk-oscaws.pem -C ./cert-oscaws.pem --region ap-southeast-1 --show-empty-fields |sed -e 's/, \{0,10\}/，/g' -e 's/\t\{1,100\}/,/g' -e 's/^TAG,[^ ]\{1,100\}/&\n-------------------------------/g'
カンマとスペースを全角スペースに変えてタブをカンマにしてTAGから始まる次の行に区切り線を入れてる。
sedの中で使う&(アンパサンド)は一致した文字列の引用を表す。
ある文字列を特定行に挿入する
sed -e "2i hoge" test.txt
sed -e "2a hoge" test.txt
"line2"の行前に挿入
sed -e "/^line2$/i hoge" test.txt
http://d.hatena.ne.jp/rx7/20110310/p1
・viでも置換ができる(編集モードで)
:%s/aaa/bbb/g
aaaに当てはまるものすべてをbbbに置換
:1,3s/bbb/ccc/g
1～3行目のbbbをcccに置換
sedでのアドレス指定
3 3行目
20,$ 20行目から最終行まで
10,5 10行目(2番目の数字が小さい場合)
/^[0-9]/ 先頭が数字の行全て
15,/Z$/ 15行目から最終文字がZで終わる行まで
5,10! 5～10行目以外の行(1～4行目と11～最終行）
行番号を出すには、、
:set nu
行番号を消すには、、
:set nonu
・ファイルの中身を並べ替える
sort -u file
重複する文字列をひとつにして昇順に並び替える
sort -t : -k 2.2n,2.10n file1 > file2
区切り文字を指定して、キーは第２フィールドの２番目の文字から１０番目の文字として並べかえる。nで数値として並べかえる。
grep "26/Feb/2007:02" access_log.2007-02-26|awk '{print $2}'|sort|uniq -c|sort -r|more
アクセスログの特定の時間をgrepしてIPをawkで出してuniq -cでカウントしてsort -r で多い順表示
・ファイルのシンボリックリンクを作る
ln -s <source-file> <dest-file>
・ファイルのハードリンクを作る
ln <source-file> <dest-file>
・ファイルのiノードを確認する
df -ih
・ファイルをリモートに転送する
scp -Cpr -i ~/.ssh/private_key_name ./localfile_or_dir remote_user@remote_host:/remote_path/
・指定した以上巨大なファイルを検索する
find /home -size +10000k -exec ls -lh {} \;
・指定日以前に作られたファイルを探して消す
よくログの切り回し後の旧いのを消すときなどに用いられる定番。
find ./ -name "hoge*.log" -ctime +10 -exec rm -f {} \;
find ./ -name "hoge*.log" -ctime +15 | xargs rm -f
find ./ -name "hoge*.log" -ctime +28 -delete
など
・ログを出力させる
1行ずつリダイレクトする、世代管理して古いのは消す
LOG=/opt/log/bk.log
echo "`date +%Y%m%d.%H%M%S` daily backup start." >> ${LOG}
DAY=`date +%m%d`
if [ $DAY = "0101" ]
then
OY=`date -d '1 year ago' +%Y`
mv $LOG $LOG.$OY
find /opt/log -name "$LOG.*" -type f -atime +730 -exec rm -f {} \;
fi
後続の標準出力と標準エラー出力をまるっとファイルに出力する
# log redirect.
exec >> ${backup_log}
exec 2>&1
loggerコマンド を使い任意のファシリティとプライオリティを指定してログを出力する
logger -ip [facility].[priority] [message]
logger -ip local0.emerg 'hello world'
・ログファイルを切り回す
とりあえず一般的な方法を。
findできりまわす
## rotate logs.
find /opt/log -name bk.log -size +1G -exec mv bk.log{,.$(/bin/date +%Y%m%d)} \;
find /opt/log -name "bk.log.*" -atime +365 -delete
上記は、
1GB以上のサイズのnameで指定したファイル名のファイルを日付つけてmvする
指定した日付より古い指定したファイル名のファイルを消す、という例です。
https://linuxjm.osdn.jp/html/GNU_findutils/man1/find.1.html
logrotated をつかう（長いです）
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/747logrotatecmd.html
http://piyolian.blogspot.jp/2012/06/apache-not-reload-but-graceful-when.html
/var/logの下にログが出てる場合
syslogの世代1か月保持から1年保持に増やす
rotate 4→53
追加で切りまわす
/etc/logrotate.d/syslogと同じでよければそこに追加、
世代数など替えたければコピーして書き変える
要件：
syslogとapacheログ、mysqlログを1年保持、1年以上経過したものは削除してOK、昨日のログは圧縮でOK。
syslogの保存期間を1年にする（全てのサーバ）
追記
# vi /etc/logrotate.d/syslog
weekly
compress
rotate 53
※sharedscriptsの上の行に追記するよう注意
# logrotate -d /etc/logrotate.d/syslog
logrotate.conf
logroteateは設定ファイル/etc/logrotate.confと/etc/logrotate.dディレクトリにある各設定ファイルで行います
以下がlogrotate.confファイルのデフォルトの設定です。
# see "man logrotate" for details
# rotate log files weekly
weekly ①
# keep 4 weeks worth of backlogs
rotate 4 ②
# create new (empty) log files after rotating old ones
create ③
# uncomment this if you want your log files compressed
#compress ④
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d ⑤
# no packages own wtmp -- we'll rotate them here
/var/log/wtmp { ⑥
monthly
create 0664 root utmp
rotate 1
}
# system-specific logs may be also be configured here.
それぞれの設定項目は以下の設定を表していて、ローテーションのグローバルな設定を行うことができます
① 毎週ごとにファイルのローテーションを行う（monthly、dailyも指定可）
② 4世代分のファイルを保存
③ ローテーションの際、新しいログファイルをすぐに作成する
④ ローテーションしたファイルを圧縮する
⑤ 各ログの詳細設定ファイルは/etc/logrotate.dディレクトリ以下に設定
⑥ /var/log/wtmp の設定を定義、wtmpファイルは毎月ローテーションし（1行目の設定を上書きしています）ローテーション後すぐ作成されるファイルのパーミッションを0644、所有者をroot、グループをutmpとする上でファイルを 1 つだけ保存する
logrotate.dディレクトリ以下の設定
各ログファイルごとの設定は、/etc/logrotated.dディレクトリの中に設置された設定ファイルで行います
syslogdで設定されたログの設定ファイルは、/etc/logrotated.d/syslogになります。
/var/log/messages /var/log/secure /var/log/maillog /var/log/spooler /var/log/boot.log /var/log/cron {
sharedscripts
postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
endscript
}
このファイルでは一行目にどのログファイルに関する設定かの記述がされています。
複数のログファイルのローテーション後に、下の行の処理を1度だけ実行した後syslogdの動作中にファイルを移動すると、syslogdは出力すべきログファイルを見失ってしまうため、syslogdにHUPシグナルを送って設定を再読み込みさせコマンドを終了しています。
以下は設定ファイルで利用できる
| 記述 | 解説 |
|---|---|
| create | [パーミッション] [ユーザ名] [グループ名] 指定したファイル情報でローテート後に新たな空のログファイルを作成 |
| daily | 毎日ローテート |
| weekly | 毎週ログローテートする |
| monthly | 毎月ローテートする |
| ifempty | ログファイルが空でもローテートする |
| missingok | ログファイルが存在しなくてもエラーを出力しない |
| nocompress | ローテートされたログを圧縮しない |
| nocreate | 新たな空のログファイルを作成しない |
| nomissingok | ログファイルが存在しない場合エラー出力する |
| noolddir | ローテーション対象のログと同じディレクトリにローテートされたログを格納する |
| notifempty | ログファイルが空ならローテートしない |
| olddir ディレクトリ名 | 指定したディレクトリ内にローテーションされたログを格納する |
| postrotate～endscript | postrotateとendscriptの間に記述されたコマンドをログローテート後に実行 |
| prerotate～endscript | postrotateとendscriptの間に記述されたコマンドをログローテート前に実行 |
| rotate 回数 | 指定した回数だけローテートする |
| size ファイルサイズ | 指定したファイルサイズ以上であればローテートする |
| sharedscripts | 複数指定したログファイルに対してpostrotateまたはprerotateで記述されたコマンドを実行 |
以下はhttpdのアクセスログとエラーログのローテート設定例です
/usr/local/apache2/logs/access_log /usr/local/apache2/logs/error_log {
weekly
rotate 4
missingok
sharedscripts
postrotate
/bin/killall -HUP `cat /usr/local/apache2/logs/httpd.pid 2>/dev/null` 2> /dev/null
endscript
}
＊/usr/local/apache2/logs/access_logと/usr/local/apache2/logs/error_logについて定義
＊一週間に一度ローテート
＊ファイルが存在しなくてもエラーを出さない
＊/usr/local/apache2/logs/access_logと/usr/local/apache2/logs/error_logに対してコマンドを実行
＊ローテート後に/bin/killall -HUPコマンドを実行する
★確認コマンド
・ログローテート登録されてるか確認するコマンド
# logrotate -d /etc/logrotate.d/syslog
# logrotate -d /etc/logrotate.d/mysqld
# logrotate -d /etc/logrotate.d/hb_pmon
reading config file /etc/logrotate.d/hb_pmon
reading config info for /var/log/heartbeat_process_monitor.log
Handling 1 logs
rotating pattern: /var/log/heartbeat_process_monitor.log weekly (4 rotations)
empty log files are rotated, old logs are removed
considering log /var/log/heartbeat_process_monitor.log
log does not need rotating
not running postrotate script, since no logs were rotated
・最後にいつ切りまわされたか確認する
# cat /var/lib/logrotate.status
logrotate state -- version 2
"/var/log/acpid" 2010-3-12
"/var/log/conman/*" 2010-3-12
"/var/log/cups/error_log" 2010-3-17
"/var/log/mgetty.log.tty[^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.tty[^.][^.][^.][^.][^.][^.][^.][^.][^.][^.]" 2010-3-12
"/var/log/mgetty.log.unknown" 2010-3-12
"/var/log/mgetty.callback" 2010-3-12
"/var/log/ppp/connect-errors" 2010-3-12
"/var/account/pacct" 2010-3-12
"/var/log/rpmpkgs" 2010-6-20
"/var/log/messages" 2010-6-20
"/var/log/secure" 2010-6-20
"/var/log/maillog" 2010-6-20
"/var/log/spooler" 2010-6-20
"/var/log/boot.log" 2010-6-20
"/var/log/cron" 2010-6-20
"/var/log/wpa_supplicant.log" 2010-3-12
"/var/log/yum.log" 2010-3-12
"/var/log/wtmp" 2010-3-12
"/var/log/munin/munin-update.log" 2010-5-14
"/var/log/munin/munin-graph.log" 2010-5-14
"/var/log/munin/munin-html.log" 2010-5-14
"/var/log/munin/munin-limits.log" 2010-5-14
"/var/log/munin/munin-node.log" 2010-6-23
"/var/log/ha-debug" 2010-6-20
"/var/log/ha-log" 2010-6-20
"/var/log/ldirectord.log" 2010-6-20
"/var/log/zabbix/zabbix_agentd.log" 2010-6-4
"/var/log/heartbeat_process_monitor.log" 2010-6-23
# ls -l /var/log/heartbeat_process_monitor.log*
-rw-r--r-- 1 root root 13034042 6月 23 11:46 /var/log/heartbeat_process_monitor.log
・ハードディスクのファイルを跡形もなく消す
# dd if=/dev/urandom of=/dev/hda
# dd if=/dev/urandom of=/dev/hda
# dd if=/dev/zero of=/dev/hda