Help us understand the problem. What is going on with this article?

Bash初心者からエキスパートになるためのコマンドとヒント101

以下はAndrewによる記事、101 Bash Commands and Tips for Beginners to Expertsの日本語訳です。

一部を除き、上から順にコマンドを打って確かめることができるようになっています。
読むだけではなく、実際に打って試してみることで理解が早まることでしょう。

101 Bash Commands and Tips for Beginners to Experts

一年前まで、私はもっぱらMacOSとUbuntuのふたつのOSで作業をしていました。
両OSにおいて、私のデフォルトシェルはbashです。
過去6、7年ほどbashで仕事をしているため、bashがどのように動作するか、ある程度は理解しているつもりです。
従って、bashを始めたばかりの人にとって一般的で有用なコマンドについて、いくつか解説していきたいと思います。
また、bashについて知っているべきことを全て知っていると思っている人も、とりあえず見ていってください。
あなたが忘れているかもしれない、使うことで仕事がより簡単になるかもしれない、TIPSやリマインダのヒントを鏤めました。

以下のコマンドは段階を踏んで進んでいくので、bashを使い始めたばかりであっても、最初から最後まで順番に進んでいくことができます。
最初は簡単で、徐々に難しく一般的ではないコマンドを出していきます。

The Basics

First Commands, Navigating the Filesystem

最初のコマンドはファイルシステムのナビゲーション。

最近のファイルシステムはディレクトリツリー構造を持っています。
ディレクトリは親のないルートディレクトリ、もしくは一つの親を持つサブディレクトリのいずれかです。
ディレクトリツリーを逆方向(子から親へ)移動し続けると、最終的には必ずルートディレクトリに到達します。
一部のファイルシステムには複数のルートディレクトリを持つものもありますが(WindowsのC:\A:\など)、UnixやUnixライクOSには単一のルートディレクトリ/しかありません。

pwd / ls / cd

ファイルシステム内で作業する場合、ユーザは常にどこかのディレクトリ、すなわちカレントディレクトリもしくは作業ディレクトリと呼ばれる場所にいます。
カレントディレクトリはpwdコマンドで確認することができます。

[ andrew@pc01 ~ ]$ pwd
/home/andrew

カレントディレクトリの中身、ファイルや子ディレクトリなどを参照するのはlsコマンドです。

[ andrew@pc01 ~ ]$ ls
Git  TEST  jdoc  test  test.file

おまけ
ls -aで隠しファイル(.で始まるなど)を表示する。
ls -lでファイルの詳細も表示する。
ls -l -aのように複数のオプションを連ねられる。
ls -l -aのかわりにls -laと書くこともできる。

カレントディレクトリを変更するのはcdコマンドです。

[ andrew@pc01 ~ ]$ cd TEST/

[ andrew@pc01 TEST ]$ pwd
/home/andrew/TEST

[ andrew@pc01 TEST ]$ cd A

[ andrew@pc01 A ]$ pwd
/home/andrew/TEST/A

cd ..で親ディレクトリに移動することができます。

[ andrew@pc01 A ]$ cd ..

[ andrew@pc01 TEST ]$ pwd
/home/andrew/TEST

cd ~あるいは単にcdで、どこからでもユーザのホームディレクトリ(通常は/home/username)に戻ってきます。

[ andrew@pc01 TEST ]$ cd

[ andrew@pc01 ~ ]$ pwd
/home/andrew

おまけ
cd ~userは、"userのホームディレクトリにcd"という意味。
cd ../..のように一気に多段ディレクトリ移動ができる。
ひとつ前にいたディレクトリに戻るのはcd -
.はカレントディレクトリのこと。よってcd .は何もしない。

; / && / &

コマンドラインに入力するのはコマンドと呼ばれるもので、そしてコマンドはPCのどこかに保存されているプログラムを実行させます。
このプログラムはLinuxのビルトインコマンドであることもあれば、誰かが作ったアプリであることもあり、そしてあなたが作ったコードであるかもしれません。
時折、複数のコマンドを連続して実行したいことがあります。
そのためにはセミコロン;を使います。

[ andrew@pc01 ~ ]$ ls; pwd
Git  TEST  jdoc  test  test.file
/home/andrew

上のコマンドは、まずlsでカレントディレクトリの中身を表示し、次いでpwdでカレントディレクトリの位置を表示します。

コマンドを連続実行するためのもうひとつ便利なツールが&&です。
これを使うと、左側のコマンドが失敗した場合は右のコマンドが実行されません。
;&&は連続で使うことができます。

# cdでtypoしたのでpwd以降は実行されない
[ andrew@pc01 ~ ]$ cd /Giit/Parser && pwd && ls && cd
-bash: cd: /Giit/Parser: No such file or directory

# 成功したので後続のコマンドも実行される
[ andrew@pc01 ~ ]$ cd Git/Parser/ && pwd && ls && cd
/home/andrew/Git/Parser
README.md  doc.sh  pom.xml  resource  run.sh  shell.sh  source  src  target

;を使った場合は、手前のコマンドが失敗したとしても後ろのコマンドが実行されます。

# pwdに失敗したけどpwdやlsが動く
[ andrew@pc01 ~ ]$ cd /Giit/Parser ; pwd ; ls
-bash: cd: /Giit/Parser: No such file or directory
/home/andrew
Git  TEST  jdoc  test  test.file

&は一見&&と似たように見えますが、実際は全く異なる機能です。
実行に長い時間がかかるコマンドを実行すると、そのコマンドの実行が終了するまでコマンドラインは何もできなくなります。
コマンドの後ろに&を書くと待ちが発生しなくなり、古いコマンドがまだ動いている状態でも、次のコマンドを実行することができるようになります。

[ andrew@pc01 ~ ]$ cd Git/Parser && mvn package & cd
[1] 9263

おまけ
&を使ってコマンドを隠すことを、我々はジョブ(あるいはプロセス)のバックグラウンド化と呼んでいる。
現在バックグラウンド状態のジョブはjobsコマンドで確認することができる。

[ andrew@pc01 ~ ]$ jobs
[1]+ Running cd Git/Parser/ && mvn package &

Getting Help

-h

ほとんどのコマンドは、-hあるいは--helpでコマンドのヘルプを表示してくれます。

[ andrew@pc01 ~ ]$ du --help
Usage: du [OPTION]... [FILE]...
  or:  du [OPTION]... --files0-from=F
Summarize disk usage of the set of FILEs, recursively for directories.

Mandatory arguments to long options are mandatory for short options too.
  -0, --null            end each output line with NUL, not newline
  -a, --all             write counts for all files, not just directories
      --apparent-size   print apparent sizes, rather than disk usage; although
                          the apparent size is usually smaller, it may be
                          larger due to holes in ('sparse') files, internal
                          fragmentation, indirect blocks, and the like
  -B, --block-size=SIZE  scale sizes by SIZE before printing them; e.g.,
                           '-BM' prints sizes in units of 1,048,576 bytes;
                           see SIZE format below
...

man

大抵のコマンドは、manコマンドに続けて打つとコマンドのマニュアルを表示することができます。
qでマニュアルを終了します。

LS(1)                            User Commands                           LS(1)

NAME
       ls - list directory contents

SYNOPSIS
       ls [OPTION]... [FILE]...

DESCRIPTION
       List  information  about  the FILEs (the current directory by default).
       Sort entries alphabetically if none of -cftuvSUX nor --sort  is  speci-
       fied.

       Mandatory  arguments  to  long  options are mandatory for short options
       too.
...

Viewing and Editing Files

head / tail / cat / less

headはファイルの最初の数行を出力します。
出力行数のデフォルトは10で、-nで変更できます。

# 最初の3行を表示
[ andrew@pc01 ~ ]$ head -n 3 c
this
file
has

tailは逆にファイルの最後の数行を出力します。
出力行数はheadと同じように指定するか、もしくは-n +NでN行目から最後までを出力できます。

# 4行目から最後までを表示
[ andrew@pc01 ~ ]$ tail -n +4 c
exactly
six
lines

catは複数のファイルを連結し、その結果を標準出力(通常はターミナル)に送信します。
しかしこのコマンドは、複数のファイルや、単に1ファイルの中身をさっと確認するために使われることがしばしばあります。
そのような使い方をすると猫の無駄遣いで告発される可能性がありますが、たいした害はないので気にしなくてもかまいません。

[ andrew@pc01 ~ ]$ cat a
file a

[ andrew@pc01 ~ ]$ cat a b
file a
file b

ファイルを素早く表示するもうひとつの方法がlessで、これを使うと読み取り専用のvimのようなウィンドウが開きます。
実はmoreというコマンドもあるのですが、lessのほうが優位なので出番はありません。
もっと詳しく(more)、いや少なく?(less)知りたい場合は、lessmoreのmanページを参照してください。

nano / nedit

nanoは必要最小限のコマンドラインテキストエディタです。
初心者や、100万のショートカットを覚えたくないユーザにとっては最適の優れたエディタです。
私のキャリアにおいても、最初の数年間はnanoだけで十分でした。
nanoで独自のシンタックスハイライトを定義するのは大変なので、さすがにそろそろ別の強力なエディタを検討し始めていますが。

neditは小規模なグラフィカルテキストエディタで、X Windowを開き、クリック編集、ドラッグアンドドロップ、構文強調表示等が可能です。
スクリプトに小さな変更を加えながら何度も実行したいとき、私はよくneditを使用します。

その他の一般的なCLI/GUIテキストエディタとして、emacsvivimgeditNotepad++Atom、そしてその他たくさんの選択肢が存在します。
私が触った中でも特に魅力的で推奨できると感じたものは、MicroLight Table、そしてVS Codeです。

最近のエディタは全て、検索、置換、構文強調表示などの便利機能を標準装備しています。
viemacsnanoneditより遙かに多くの機能がありますが、同時に学習曲線も急坂です。
エディタを色々試してみて、自分に合ったものを探してみてください。

Creating and Deleting Files and Directories

ファイル・ディレクトリの作成と削除。

touch

touchはファイルのタイムスタンプを更新するために作られたものですが、空のファイルを作るためにも利用できます。
nanoなどのテキストエディタで新規ファイルを作成してみましょう。

[ andrew@pc01 ex ]$ ls

[ andrew@pc01 ex ]$ nano a

/* ここで保存してエディタを終了 */

[ andrew@pc01 ex ]$ ls
a

touchなら1コマンドです。

[ andrew@pc01 ex ]$ touch b && ls
a  b

おまけ
Ctrl+zで現在実行中のプロセスをバックグラウンドにできる。
fgコマンドでプロセスに戻る。

[ andrew@pc01 ex ]$ nano a

/* ここでCtrl + z */

Use fg to return to nano

[1]+ Stopped nano a
[ andrew@pc01 ex ]$ fg

/* 編集画面に戻った */

さらにおまけ
Ctrl+cだと現在実行中のプロセスを強制終了する。
バックグラウンドプロセスを強制終了するにはkill %N
Nに入れるプロセス番号はjobsコマンドで確認できる。

mkdir / rm / rmdir

空のディレクトリを作るのはmkdirコマンドです。

[ andrew@pc01 ex ]$ ls && mkdir c && ls
a  b
a  b  c

rmでファイルを削除できますが、削除すると元に戻せません。
注意してください。

[ andrew@pc01 ex ]$ rm a && ls
b  c

削除確認の警告を行いたい場合は-iオプションを追加しましょう。

[ andrew@pc01 ex ]$ rm -i b
rm: remove regular empty file 'b'? y

空のディレクトリを削除するのはrmdirです。
空のディレクトリでls -aすると、カレントディレクトリ.と親ディレクトリ..だけが表示されます。

[ andrew@pc01 ex ]$ rmdir c && ls -a
.  ..

rmdirでは、空でないディレクトリは削除できません。

[ andrew@pc01 ex ]$ cd .. && ls test/
*.txt  0.txt  1.txt  a  a.txt  b  c

[ andrew@pc01 ~ ]$ rmdir test/
rmdir: failed to remove 'test/': Directory not empty

中身の入ったディレクトリを全て強制的に削除するには、rm -rfを使います。
-rは再帰、-fは強制実行するオプションです。

[ andrew@pc01 ~ ]$ rm –rf test

Moving and Copying Files, Making Links, Command History

ファイルの移動、コピー、リンク、コマンド履歴。

mv / cp / ln

ファイルの移動、リネームはmvです。
ディレクトリを移動してファイル名をそのままにする、ファイル名もついでに変更するといったことができます。

[ andrew@pc01 ex ]$ ls && mv a e && ls
a  b  c  d
b  c  d  e

コピーはcpです。

[ andrew@pc01 ex ]$ cp e e2 && ls
b  c  d  e  e2

lnはファイルへのハードリンクを作成します。

# 第一引数が対象ファイル、第二引数がリンク名
[ andrew@pc01 ex ]$ ln b f && ls
b  c  d  e  e2  f

ln -sでシンボリックリンクが作成できます。

[ andrew@pc01 ex ]$ ln -s b g && ls
b  c  d  e  e2  f  g

ハードリンクは同じメモリを参照するひとつのファイルへの別名を作ります。
シンボリックリンクは元のファイル名を追跡するだけで、ファイル実体を参照するのは元ファイルだけです。
これ以上の詳細についてはWhat is the difference between a symbolic link and a hard link?を見てください。

Command History

bashは、実行したコマンドを再実行するために役立つ機能をふたつ持っています。
ひとつめの機能はタブ補完です。
コマンドの一部を入力したところでTABを押すと、何を打とうとしているのか端末が推測してくれます。

[ andrew@pc01 dir ]$ ls <ENTER>
anotherlongfilename  thisisalongfilename  anewfilename

[ andrew@pc01 dir ]$ ls t <TAB>

TABを押すと、以下のようにコマンドが最後まで補完されます。

[ andrew@pc01 dir ]$ ls thisisalongfilename <ENTER>
thisisalongfilename

特定しきれない場合はTABを何度か押すことになります。

[ andrew@pc01 dir ]$ ls a <TAB>

[ andrew@pc01 dir ]$ ls an <TAB>
anewfilename  anotherlongfilename

bashは以前に実行したコマンドを幾つか覚えており、Ctrl+Rでその履歴を検索することができます。

(reverse-i-search)`':

ここでanewと入力すると、その文字が含まれるコマンドのうち最後に実行したものが出てきます。

(reverse-i-search)`anew': touch anewfilename

Directory Trees, Disk Usage, and Processes

ディレクトリツリー、ディスク使用量、プロセス。

mkdir –p / tree

mkdirはデフォルトではひとつのディレクトリのみを作成します。
どういうことかというと、ディレクトリd/eが存在しないときにディレクトリd/e/fを作ることはできないということです。

[ andrew@pc01 ex ]$ ls && mkdir d/e/f
a  b  c
mkdir: cannot create directory 'd/e/f': No such file or directory

-pオプションを付けることで、深い階層のディレクトリも一気に作成してくれます。

[ andrew@pc01 ex ]$ mkdir -p d/e/f && ls
a  b  c  d

treeコマンドはディレクトリツリーをいいかんじにビジュアル化して表示してくるので、ディレクトリ構造を把握するのに役立ちます。
デフォルトでは指定ディレクトリ以下のディレクトリツリーを全て示しますが、-Lオプションで階層を限定することもできます。

[ andrew@pc01 ex ]$ tree -L 2
.
|-- a
|-- b
|-- c
`-- d
    `--e

3 directories, 2 files

空のディレクトリを表示させたくないときは--pruneオプションを使います。
このオプションは再帰的なので、空のディレクトリだけが入った空でないディレクトリも消えることに注意しましょう。

[ andrew@pc01 ex ]$ tree --prune
.
|-- a
`-- b

df / du / ps

dfはディスクおよびシステムの容量がどれだけ使用されているかを一覧表示します。

[ andrew@pc01 ex ]$ df -h
Filesystem                   Size  Used Avail Use% Mounted on
udev                         126G     0  126G   0% /dev
tmpfs                         26G  2.0G   24G   8% /run
/dev/mapper/ubuntu--vg-root  1.6T  1.3T  252G  84% /
...

このコマンドにおいては、-hオプションは"ヘルプ表示"ではなく"人間が見てわかりやすく表示"を意味します。
いくつかのコマンドは、このオプションを使うことで、バイト数そのままではなくキロバイトK、ギガバイトGなどでファイルやディスク容量を出力してくれます。
duは指定ディレクトリとそのサブディレクトリの使用量を表示します。
あるハードディスクの使用量を知りたい場合はdf、あるディレクトリの使用量を知りたいときはduを使います。

[ andrew@pc01 ex ]$ du
4       ./d/e/f
8       ./d/e
12      ./d
4       ./c
20      .

du--max-depth=Nオプションを受け取り、指定した階層のディレクトリまでを表示します。

[ andrew@pc01 ex ]$ du -h --max-depth=1
12K     ./d
4.0K    ./c
20K     .

psはユーザが実行中の全てのプロセス(ジョブ)を表示します。

[ andrew@pc01 ex ]$ ps
  PID TTY          TIME CMD
16642 pts/15   00:00:00 ps
25409 pts/15   00:00:00 bash

Miscellaneous

passwd / logout / exit

パスワード変更コマンドはpasswdです。
確認のために現在のコマンドを一回と、変更後のパスワードを2回入力する必要があるため、入力ミスすることはないでしょう。

[ andrew@pc01 dir ]$ passwd
Changing password for andrew.
(current) UNIX password:    <現在のパスワード>
Enter new UNIX password:    <新パスワード>
Retype new UNIX password:   <新パスワードを再入力>
passwd: password updated successfully

logoutで現在のログインシェルが終了します。

[ andrew@pc01 dir ]$ logout

──────────────────────────────────────────────────────────────────────────────
Session stopped
    - Press <return> to exit tab
    - Press R to restart session
    - Press S to save terminal output to file

exitはサブシェルを含め全て終了します。

[ andrew@pc01 ~ ]$ exit
logout

──────────────────────────────────────────────────────────────────────────────
Session stopped
    - Press <return> to exit tab
    - Press R to restart session
    - Press S to save terminal output to file

clear / *

clearを実行するとカーソルが画面の一番上に移動します。
実際やってることは現在の行の下に空白行を追加しているだけですが、ワークスペースをクリアするのに有用です。

ファイルの検索にはglob(*、ワイルドカード、Kleene Star)が便利です。
以下の2コマンドの違いについて注意してください。

[ andrew@pc01 ~ ]$ ls Git/Parser/source/
PArrayUtils.java     PFile.java            PSQLFile.java      PWatchman.java
PDateTimeUtils.java  PFixedWidthFile.java  PStringUtils.java  PXSVFile.java
PDelimitedFile.java  PNode.java            PTextFile.java     Parser.java

[ andrew@pc01 ~ ]$ ls Git/Parser/source/PD*
Git/Parser/source/PDateTimeUtils.java  Git/Parser/source/PDelimitedFile.java

globは1コマンド中に何度も使用することができ、"0文字以上の文字列"に一致します。

[ andrew@pc01 ~ ]$ ls Git/Parser/source/P*D*m*
Git/Parser/source/PDateTimeUtils.java  Git/Parser/source/PDelimitedFile.java

Intermediate

Disk, Memory, and Processor Usage

ncdu

ncdu(NCurses Disk Usage)はファイル使用量の概要を表示する、改善版duのようなコマンドです。
読み取り専用のvimのようなウィンドウが開くので、終了する際はqを押しましょう。

[ andrew@pc01 ~ ]$ ncdu

ncdu 1.11 ~ Use the arrow keys to navigate, press ? for help
--- /home/andrew -------------------------------------------------------------
  148.2 MiB [##########] /.m2
   91.5 MiB [######    ] /.sbt
   79.8 MiB [#####     ] /.cache
   64.9 MiB [####      ] /.ivy2
   40.6 MiB [##        ] /.sdkman
   30.2 MiB [##        ] /.local
   27.4 MiB [#         ] /.mozilla
   24.4 MiB [#         ] /.nanobackups
   10.2 MiB [          ]  .confout3.txt
    8.4 MiB [          ] /.config
    5.9 MiB [          ] /.nbi
    5.8 MiB [          ] /.oh-my-zsh
    4.3 MiB [          ] /Git
    3.7 MiB [          ] /.myshell
    1.7 MiB [          ] /jdoc
    1.5 MiB [          ]  .confout2.txt
    1.5 MiB [          ] /.netbeans
    1.1 MiB [          ] /.jenv
  564.0 KiB [          ] /.rstudio-desktop
 Total disk usage: 552.7 MiB  Apparent size: 523.6 MiB  Items: 14618

top / htop

topは、現在実行されている全てのプロセスと所有者、メモリ使用量などを表示します。
そしてhtopはインタラクティブな改良版topです。
いずれも-u usernameオプションで該当ユーザのプロセスだけを表示することができます。

REPLs and Software Versions

REPLs

REPLはRead-Eval-Print Loopの略で、コマンドラインと同じようなものですが、通常はプログラミング言語との対話的ウィンドウに対して呼ばれます。
PythonのREPLはpythonコマンドで始めることができ、quit()関数で終了します。

[ andrew@pc01 ~ ]$ python
Python 3.5.2 (default, Nov 12 2018, 13:43:14) ...
>>> quit()

RのREPLはRコマンドで始まり、q()関数で終了です。

[ andrew@pc01 ~ ]$ R
R version 3.5.2 (2018-12-20) --"Eggshell Igloo" ...
> q()
Save workspace image? [y/n/c]: n

ScalaのREPLはscalaコマンドで始まり、quitコマンドで終了です。

[ andrew@pc01 ~ ]$ scala
Welcome to Scala 2.11.12 ...
scala> :quit

JavaのREPLはjshellコマンドで始まり、/exitコマンドで終了です。

[ andrew@pc01 ~ ]$ jshell
| Welcome to JShell--Version 11.0.1 ...
jshell> /exit

これらのREPLはCtrl+dでも終了できます。
Ctrl+dはUnixのEOFであり、入力の終端を意味します。

-version / --version / -v

ほとんどのコマンドやプログラムは、そのソフトウェアバージョンを表示する-versionもしくは--versionオプションがあります。
ほとんどのアプリケーションにも同じオプションが用意されています。

[ andrew@pc01 ~ ]$ ls --version
ls (GNU coreutils) 8.25 ...

[ andrew@pc01 ~ ]$ ncdu -version
ncdu 1.11

[ andrew@pc01 ~ ]$ python --version
Python 3.5.2

ただし、稀にあまり馴染みのないオプションも存在します。

[ andrew@pc01 ~ ]$ sbt scalaVersion
...
[info] 2.12.4

バージョンを表すオプションとして-vを使うプログラムもあります。
しかし多くの場合-vは'verbose'を意味し、診断情報やデバッグ情報といった多くの詳細情報も出力します。

SCP(1)                    BSD General Commands Manual                   SCP(1)

NAME
     scp -- secure copy (remote file copy program)
...
-v      Verbose mode.  Causes scp and ssh(1) to print debugging messages
             about their progress.  This is helpful in debugging connection,
             authentication, and configuration problems.
...

Environment Variables and Aliases

Environment Variables

環境変数("env vars"と略されることもある)は、bashシェル上で作成・使用できる永続変数のことです。
これらは=で定義し、$で参照します。
pritenvで現在定義されている全ての環境変数を確認することができます。

[ andrew@pc01 ~ ]$ printenv
SPARK_HOME=/usr/local/spark
TERM=xterm
...

新しい環境変数を定義しましょう。
=の前後にスペースを入れてはいけません。

[ andrew@pc01 ~ ]$ myvar=hello

定義した環境変数はechoで取得できます。
ただし変数の頭に$を付けます。

[ andrew@pc01 ~ ]$ echo $myvar
hello

スペースやその他の空白を含む値を指定したいときは、値を"で囲まなければなりません。
また環境変数は警告無しに上書きできるので気をつけましょう。

[ andrew@pc01 ~ ]$ myvar="hello, world!" && echo $myvar
hello, world!

環境変数をexportコマンド付きで定義することもできます。
そうすると、サブシェル内でもその環境変数を参照することができるようになります。

[ andrew@pc01 ~ ]$ export myvar="another one" && echo $myvar
another one

環境変数の設定を解除するには、=の右側を空欄にして決定するか、unsetコマンドを使用します。

[ andrew@pc01 ~ ]$ unset mynewvar

[ andrew@pc01 ~ ]$ echo $mynewvar

Aliases

エイリアスは環境変数に似ていますが、普通は異なる目的で利用されます。
長いコマンドを短く置き換えるために使用されます。

[ andrew@pc01 apidocs ]$ ls -l -a -h -t
total 220K
drwxr-xr-x 5 andrew andrew 4.0K Dec 21 12:37 .
-rw-r--r-- 1 andrew andrew 9.9K Dec 21 12:37 help-doc.html
-rw-r--r-- 1 andrew andrew 4.5K Dec 21 12:37 script.js
...

[ andrew@pc01 apidocs ]$ alias lc="ls -l -a -h -t"

[ andrew@pc01 apidocs ]$ lc
total 220K
drwxr-xr-x 5 andrew andrew 4.0K Dec 21 12:37 .
-rw-r--r-- 1 andrew andrew 9.9K Dec 21 12:37 help-doc.html
-rw-r--r-- 1 andrew andrew 4.5K Dec 21 12:37 script.js
...

エイリアスの削除はunaliasです。

[ andrew@pc01 apidocs ]$ unalias lc

[ andrew@pc01 apidocs ]$ lc
The program 'lc' is currently not installed. ...

おまけ
環境変数とエイリアスの違い
一部のプログラムでは、そのプログラム専用のエイリアスを設定できる。gitの例

Basic bash Scripting

bash Scripts

bashスクリプト(シェルスクリプト)を使うと、複雑なプロセスを自動化し、再利用可能な形にパッケージ化することができます。
拡張子は通常.shです。
bashスクリプトには、通常のコマンドをいくらでも詰め込むことができます。

[ andrew@pc01 ~ ]$ echo "ls && touch file && ls" > ex.sh

作成したシェルスクリプトは、sourceもしくはshコマンドで実行可能です。

[ andrew@pc01 ~ ]$ source ex.sh
Desktop  Git  TEST  c  ex.sh  project  test
Desktop  Git  TEST  c  ex.sh  file  project  test

chmodコマンドで、シェルスクリプトを直接実行可能にすることができます。
詳しくは後で解説します。

[ andrew@pc01 ~ ]$ echo "ls && touch file2 && ls" > ex2.sh

[ andrew@pc01 ~ ]$ chmod +x ex2.sh

実行権限+xのついたシェルスクリプトは、頭に./を付けることで直接実行できます。

[ andrew@pc01 ~ ]$ ./ex2.sh
Desktop  Git  TEST  c  ex.sh  ex2.sh  file  project  test
Desktop  Git  TEST  c  ex.sh  ex2.sh  file  file2  project  test

長いスクリプトを書きたい場合、行の最後に\を入れることで改行して入力できます。

[ andrew@pc01 ~ ]$ echo "for i in {1..3}; do echo \
> \"Welcome \$i times\"; done" > ex3.sh

シェルスクリプトにはもちろん、ループや関数などの複雑な構造も仕込むことができます。

[ andrew@pc01 ~ ]$ source ex3.sh
Welcome 1 times
Welcome 2 times
Welcome 3 times

Custom Prompt and ls

bashスクリプティングは、あなたの人生をずっと楽に、豊かに、カラフルにしてくれます。
この素晴らしいチートシートをご覧ください。

ところでシェルのプロンプトに出てくる文字列も環境変数で定義されていて、その名前は$PS1です。
他にもプロンプトはあって、それらについてはこちらを見てください。

[ andrew@pc01 ~ ]$ printf "%q" $PS1
$'\\n\\[\E[1m\\]\\[\E[30m\\]\\A'$'\\[\E[37m\\]|\\[\E[36m\\]\\u\\[\E[37m\\]@\\[\E[34m\\]\\h'$'\\[\E[32m\\]\\W\\[\E[37m\\]|'$'\\[\E(B\E[m\\]‘

デフォルトのプロンプトは、exportコマンドで変更可能です。

[ andrew@pc01 ~ ]$ export PS1="\ncommand here> "

command here> echo $PS1
\ncommand here>

色を付けることもできます。

command here> export PS1="\e[1;31m\nCODE: \e[39m"

# (ここ本当は赤いんだけどMarkdownで色の付け方がわからんかった)
CODE: echo $PS1
\e[1;31m\nCODE: \e[39m

lsが出力する色も環境変数$LS_COLORSで変更することができます。

CODE: ls
Desktop  Git  TEST  c  ex.sh  ex2.sh  ex3.sh  file  file2  project  test

CODE: export LS_COLORS='di=31:fi=0:ln=96:or=31:mi=31:ex=92'

# (ここも本当は赤い)
CODE: ls
Desktop  Git  TEST  c  ex.sh  ex2.sh  ex3.sh  file  file2  project  test

Config Files

Config Files / .bashrc

色々とコマンドを実行して設定を変更しましたが、いちどログアウトして再度ログインすると、全ての変更がリセットされてしまうことに気付くでしょう。
設定ファイルを使用することで、ログインしなおしてもシェルや特定のプログラムの設定を保持することができます。
bashシェルの主な設定ファイルは~/.bashrcです。
~/.bashrcに追加したエイリアス、環境変数、エイリアスは、ログインするたびに使用可能になります。
~/.bashrcに書かれたコマンドはログイン時に実行されるということです。
~/.bashrcを更新した場合、sourceコマンドでログアウトせずに最新状態にすることができます。

[ andrew@pc01 ~ ]$ nano ~/.bashrc

そして最初にecho "~/.bashrc loaded!"という行を付け加えてみましょう。

[ andrew@pc01 ~ ]$ source ~/.bashrc
~/.bashrc loaded!

ログアウトしてログインし直してもこうなります。

Last login: Fri Jan 11 10:29:07 2019 from 111.11.11.111
~/.bashrc loaded!

[ andrew@pc01 ~ ]

Types of Shells

ログインシェルとは、ログインしたとき最初に起動するシェルです。
対話型シェルとは、コマンドを入力することができるシェルです。
シェルには対話型ログインシェル、非ログイン非対話型シェル、あるいは他の組み合わせなど様々なものがあります。

~/.bashrc以外にも、ログインしたときやログアウトした際に自動的に実行されるスクリプトは幾つか存在します。
例を挙げると、

/etc/profile
~/.bash_profile
~/.bash_login
~/.profile
~/.bash_logout
/etc/bash.bash_logout

これらのスクリプトのどれが有効で、どの順番で実行されるかは、シェルのタイプによって異なります。
詳細についてはbashのmanページや、Stack Overflowのポストなどを参照してください。

bashはsourceコマンドで別のスクリプトを読み込むことも可能です。
たとえば~/.bashrcに以下を記載することができます。

source ~/.bashrc_addl

これにより、.bashrc_addlsource対象のファイルとなります。
このファイルにも独自のエイリアス、関数、環境変数などを記述することができます。
同様に、さらに別のスクリプトをsourceすることもできます。
そうする場合はsourceが無限ループしないように注意してください。

機能やOS(Ubuntu、RedHat、macOS)などによってコマンドをファイルごとに分離しておくと役立つことがあります。

~/.bash_ubuntu …Ubuntu固有の設定
~/.bashrc_stylesPS1LS_COLORSなど外観の設定
~/.bash_java …言語ごとのの設定

外観やOS固有設定などをそれぞれ個別のファイルに切り出し、そしてそれらのうち必要なものをsourceするひとつの管理ファイルから構成します。
このような構成であれば、あらゆるマシンやOSで使用可能なシェルになります。

bash以外のシェルも存在することに気をつけてください。
bashは単にシェルの一種であるにすぎません。
他に一般的なシェルとしてはzshcshfishなどが存在します。
様々なシェルを試して、自分に合ったものを見つけてください。

ただし、このチュートリアルはbashシェルで記述されているため、他のシェルでは動作しない可能性があることに注意してください。

Finding Things

whereis / which / whatis

whereisは、あるコマンドに対して、おそらく有用であろうファイルを検索します。
そのコマンドのバイナリすなわち実行可能なコード、ソースファイル、マニュアルのmanページなどです。

[ andrew@pc01 ~ ]$ whereis ls
ls: /bin/ls /usr/share/man/man1/ls.1.gz

whichはバイナリ、すなわちコマンドの場所のみを返します。

[ andrew@pc01 ~ ]$ which ls
/bin/ls

whatisはmanページからコマンドの概要を1行表示します。

[ andrew@pc01 ~ ]$ whatis whereis which whatis
whereis (1)          - locate the binary, source, and manual page files for a command
which (1)            - locate a command
whatis (1)           - display one-line manual page descriptions

whichは、エイリアスで隠蔽されているコマンドのオリジナルを探すのに役立ちます。

[ andrew@pc01 ~ ]$ alias ls="ls -l"

# エイリアスのせいで元コマンドと挙動が違う
[ andrew@pc01 ~ ]$ ls
total 36
drwxr-xr-x 2 andrew andrew 4096 Jan  9 14:47 Desktop
drwxr-xr-x 4 andrew andrew 4096 Dec  6 10:43 Git
...

# whichで調べた元コマンドを直接叩けばオリジナルの結果が得られる
[ andrew@pc01 ~ ]$ /bin/ls
Desktop  Git  TEST  c  ex.sh  ex2.sh  ex3.sh  file  file2  project  test

locate / find

locateは、予め作成しておいたキャッシュリストを参照して高速にファイルを検索します。

[ andrew@pc01 ~ ]$ locate README.md
/home/andrew/.config/micro/plugins/gotham-colors/README.md
/home/andrew/.jenv/README.md
/home/andrew/.myshell/README.md
...

リストを検索するのでfindより高速ですが、必ずしも最新の状態と一致しているとは限りません。
findは実際のファイルシステムを検索して、探しているファイルを見つけます。
こちらは実ファイルを検索するため、常に最新のファイルを得ることができます。

[ andrew@pc01 ~ ]$ find ~/ -iname "README.md"
/home/andrew/.jenv/README.md
/home/andrew/.config/micro/plugins/gotham-colors/README.md
/home/andrew/.oh-my-zsh/plugins/ant/README.md
...

findは1971年という最初期のUNIXから実装されているため、1994年にGNUに追加されたlocateより遙かに広い環境で利用可能です。

findlocateよりずっと多くの機能を備えていて、更新日、サイズ、所有者、ファイル/ディレクトリ、タイムスタンプ、パーミッション、ディレクトリの深さなど多様な条件で検索できます。
またファイル名を正規表現で検索し、見つかったファイルに対してコマンドを実行することもできます。

高速に検索する必要がある場合、また対象ファイルが何処にあるかわからないときはlocateを使用します。
ファイル名以外の何らかの条件に紐付いた正確なファイル一覧が欲しい場合、取得したファイルに対して何かを行いたいときはfindを使用します。

Downloading Things

ping / wget / curl

pingはネットワークホストとの通信を確立しようとします。
主にインターネット接続がダウンしているかどうかを確認するために使用されます。

[ andrew@pc01 ~ ]$ ping google.com
PING google.com (74.125.193.100) 56(84) bytes of data.
Pinging 74.125.193.100 with 32 bytes of data:
Reply from 74.125.193.100: bytes=32 time<1ms TTL=64
...

wgetはインターネットからファイルを簡単にダウンロードできます。

[ andrew@pc01 ~ ]$ wget \
> http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso

curlwgetと同じように使用できます。
--outputオプションを忘れないようにしてください。

[ andrew@pc01 ~ ]$ curl \
> http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso \
> --output ubuntu.iso

curlwgetには、それぞれ長所と短所があります。
curlはより多くのプロトコルをサポートし、様々な場面で使用可能です。
curlはデータの送信もできますが、wgetは受信しかできません。
wgetはファイルを再帰的にダウンロードできますが、curlはできません。

一般的には、インターネットからファイルをダウンロードするときはwgetを使います。
curlを使ってデータを送信することはあまりありませんが、これを知っておくと、いざ必要になったときに役立ちます。

apt / gunzip / tar / gzip

Debian系のLinuxディストリビューションには、aptという素晴らしいパッケージ管理ツールが存在します。
ソフトウェアのインストール、アップデート、削除が可能です。
何らかのソフトウェアが必要になった場合、apt searchで検索し、apt installでインストールします。

[ andrew@pc01 ~ ]$ apt search bleachbit
...bleachbit/bionic,bionic 2.0-2 all
  delete unnecessary files from the system

# インストールにはsudoが必要
[ andrew@pc01 ~ ]$ sudo apt install bleachbit

Linuxのソフトウェアは大抵tarball(.tar.gz)になっています。

[ andrew@pc01 ~ ]$ wget \
> https://github.com/atom/atom/releases/download/v1.35.0-beta0/atom-amd64.tar.gz

この拡張子のファイルはgunzipで解凍できます。

[ andrew@pc01 ~ ]$ gunzip atom-amd64.tar.gz && ls
atom-amd64.tar

.tar.gzファイルをgunzipすると.tarファイルになり、さらにtar -xfで通常のファイルシステムに戻すことができます。

[ andrew@pc01 ~ ]$ tar -xf atom-amd64.tar && mv \
atom-beta-1.35.0-beta0-amd64 atom && ls
atom atom-amd64.tar

逆に圧縮するには、-cでディレクトリから.tarにまとめ、-zで圧縮します。

[ andrew@pc01 ~ ]$ tar -zcf compressed.tar.gz atom && ls
atom  atom-amd64.tar  compressed.tar.gz

gzipでもファイルを圧縮することができます。

[ andrew@pc01 ~ ]$ gzip atom-amd64.tar && ls
atom  atom-amd64.tar.gz compressed.tar.gz

Redirecting Input and Output

| / > / < / echo / printf

デフォルトでは、シェルコマンドは標準入力ストリーム(stdin、0)から入力を読み取り、標準出力ストリーム(stdout、1)に出力を書き込みます。
エラーが発生すると、それは標準エラーストリーム(stderr、2)に出力されます。

echoはデフォルトではstdoutに対してテキストを書き込みます。
ほとんどの環境では、それは単にターミナルに表示される、という意味です。

[ andrew@pc01 ~ ]$ echo "hello"
hello

パイプオペレータ|は、前のコマンドの出力を、後ろのコマンドの入力にリダイレクトします。

# wcはファイルの行数、単語数、バイト数を返すコマンド
[ andrew@pc01 ~ ]$ echo "example document" | wc
      1       2      17

>によるリダイレクトは出力先をstdoutから別のものに変更します。

[ andrew@pc01 ~ ]$ echo "test" > file && head file
test

printfechoの改良版で、フォーマットやエスケープシーケンスが書けます。

[ andrew@pc01 ~ ]$ printf "1\n3\n2"
1
3
2

<はstdinではなく、別のところから入力を取得します。

# sortは入力を行単位でソートするコマンド
[ andrew@pc01 ~ ]$ sort <(printf "1\n3\n2")
1
2
3

ファイルの中身をコマンドに送る推奨された方法は、UUOCではなく<を使うことです。
これを使った場合、データは自然に感じる左から右ではなく、右から左に流れることになるので注意してください。

[ andrew@pc01 ~ ]$ printf "1\n3\n2" > file && sort < file
1
2
3

0 / 1 / 2 / tee

012は、上記のようにそれぞれ標準入力、標準出力、標準エラーストリームを表します。
各ストリームは前述のように|<>各演算子を使ってリダイレクトできますが、それとは別に直接数値で書くこともできます。
その場合、標準出力は>&1、標準エラーは>&2となります。

[ andrew@pc01 ~ ]$ cat test
echo "stdout" >&1
echo "stderr" >&2

デフォルトでは標準出力も標準エラーもターミナルに出力されます。

[ andrew@pc01 ~ ]$ ./test
stderr
stdout

標準入力を/dev/nullに送ると、標準エラーだけがターミナルに表示されます。

[ andrew@pc01 ~ ]$ ./test 1>/dev/null
stderr

標準エラーを/dev/nullに送ると、標準出力だけがターミナルに表示されます。

[ andrew@pc01 ~ ]$ ./test 2>/dev/null
stdout

全てを/dev/nullに送る場合はこうです。

[ andrew@pc01 ~ ]$ ./test &>/dev/null

標準出力の出力先を変更するのではなく、複数の出力先に送りたい場合は、teeコマンドを使います。

[ andrew@pc01 ~ ]$ ls && echo "test" | tee file1 file2 file3 && ls
file0
test
file0  file1  file2  file3

Advanced

Superuser

sudo / su

自分の名前を知りたいときはwhoamiです。

[ andrew@pc01 abc ]$ whoami
andrew

コマンドを別のユーザとして実行したい場合は、sudo -u usernameというコマンドで実行できます。
ただしそのユーザのパスワードが必要です。

[ andrew@pc01 abc ]$ sudo -u test touch def && ls -l
total 0
-rw-r--r-- 1 test test 0 Jan 11 20:05 def

-uを省いた場合のデフォルトはスーパーユーザ、通常はrootであり、このユーザはあらゆる操作が無制限に可能です。

[ andrew@pc01 abc ]$ sudo touch ghi && ls -l
total 0
-rw-r--r-- 1 test test 0 Jan 11 20:05 def
-rw-r--r-- 1 root root 0 Jan 11 20:14 ghi

suで一時的に別のユーザになれます。
戻るときはexitです。

[ andrew@pc01 abc ]$ su test
Password:
test@pc01:/home/andrew/abc$ whoami
test
test@pc01:/home/andrew/abc$ exit
exit

[ andrew@pc01 abc ]$ whoami
andrew

sudosuの違いについてもっと知りたい人は、こちらの記事を読みましょう。

!!

スーパーユーザはソフトウェアのインストール、ユーザの作成などを行うことができる唯一のユーザです。
時々それを忘れてエラーを起こすことがあるでしょう。

[ andrew@pc01 ~ ]$ apt install ruby
E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?

頭にsudoをつけてコマンドを再入力するとうまくいきます。

[ andrew@pc01 ~ ]$ sudo apt install ruby
Reading package lists...

!!で同じことができます。
これは前回入力したコマンドを保持しているショートカットです。

[ andrew@pc01 ~ ]$ apt install ruby
E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?

[ andrew@pc01 ~ ]$ sudo !!
sudo apt install ruby
Reading package lists...

デフォルトでは、いちどsudoでコマンド実行に成功すると、その後15分間はパスワード入力なしにsudoコマンドを実行可能です。
15分を超えると、ふたたびパスワードを要求されるようになります。

File Permissions

File Permissions

ファイルに対して読み込み(r)、書き込み(w)、実行(x)の操作をそれぞれ可能だったりできなかったりします。
ファイルへのアクセス権はls -lコマンドで確認することができ、10文字で表されます

[ andrew@pc01 ~ ]$ ls -lh
total 8
drwxr-xr-x 4 andrew andrew 4.0K Jan  4 19:37 tast
-rwxr-xr-x 1 andrew andrew   40 Jan 11 16:16 test
-rw-r--r-- 1 andrew andrew    0 Jan 11 16:34 tist

各行の最初の文字は、ファイルの種類を表します。
d=ディレクトリ、l=シンボリックリンク、-=通常ファイルなど。
次の3文字はファイルの所有者(u)が持つパーミッション、次の3文字がファイル所有グループ(g)が持つパーミッション、最後の3文字が無関係なユーザ(o)の持つパーミッションです。

rはそのファイルを読み取り可能、wは書き込み可能、xは実行可能であるというパーミッションを表します。
ディレクトリが実行可能であるとは、そのディレクトリの内容を一覧表示できるという意味です。
この3権限のセットを1桁の数値で表すことがよくあります。
xが有効なら1、wが有効なら2、rが有効なら4というふうに2進数として計算します。
例としてr-xであればrxが有効なので5です。
従って、上記例の3ファイルは順に755、755、644のパーミッションを持つというふうに表されます。

パーミッションの次にある数値は、そのファイルを参照しているリンクの数です。

その次の2つの文字は、それぞれ所有者名と、所有者のグループ名を表します。
今回は所有者もグループも全てandrewです。

さらにその次がファイルのサイズ、更新日時、そして最後にファイル名が表示されます。

ls-hオプションは人間が読み取りやすいように出力を調整します。
すなわち4096などではなく4.0Kと表示します。

chmod / chown

chmodで数値を与えることにより、ファイルのパーミッションを変更できます。

[ andrew@pc01 ~ ]$ chmod 777 test && chmod 000 tist && ls -lh
total 8.0K
drwxr-xr-x 4 andrew andrew 4.0K Jan  4 19:37 tast
-rwxrwxrwx 1 andrew andrew   40 Jan 11 16:16 test
---------- 1 andrew andrew    0 Jan 11 16:34 tist

あるいはプラスマイナスとrwxで直感的操作もできます。

[ andrew@pc01 ~ ]$ chmod +rwx tist && chmod -w test && ls -lh
chmod: test: new permissions are r-xrwxrwx, not r-xr-xr-x
total 8.0K
drwxr-xr-x 4 andrew andrew 4.0K Jan  4 19:37 tast
-r-xrwxrwx 1 andrew andrew   40 Jan 11 16:16 test
-rwxr-xr-x 1 andrew andrew    0 Jan 11 16:34 tist

ファイルの所有者はchownで変更できます。

[ andrew@pc01 ~ ]$ sudo chown marina test

グループの変更はchgrpです。

[ andrew@pc01 ~ ]$ sudo chgrp hadoop tist && ls -lh
total 8.0K
drwxr-xr-x 4 andrew andrew 4.0K Jan  4 19:37 tast
-----w--w- 1 marina andrew   40 Jan 11 16:16 test
-rwxr-xr-x 1 andrew hadoop    0 Jan 11 16:34 tist

User and Group Management

Users

現在ログインしてる全ユーザの一覧がusersで表示できます。
複数のSSHセッションを張ったりなどで同一ユーザが同時に何度もログインすることができます。

[ andrew@pc01 ~ ]$ users
andrew colin colin colin colin colin krishna krishna

ログインしていないユーザも含め全ユーザを確認するには、/etc/passwdを参照します。
なお、このファイルを変更するとユーザアカウントが破損し、ログインできなくなる可能性があるため、絶対に直接編集しないでください。

[ andrew@pc01 ~ ]$ alias au="cut -d: -f1 /etc/passwd \
> | sort | uniq" && au
 _apt
anaid
andrew...

ユーザの追加はuseraddです。

[ andrew@pc01 ~ ]$ sudo useradd aardvark && au
_apt
aardvark
anaid...

ユーザの削除はuserdelです。

[ andrew@pc01 ~ ]$ sudo userdel aardvark && au
_apt
anaid
andrew...

ユーザアカウント操作の詳細についてはこちらを参照してください

Groups

groupsは、ユーザが属している全てのグループを表示します。

[ andrew@pc01 ~ ]$ groups
andrew adm cdrom sudo dip plugdev lpadmin sambashare hadoop

システム上の全てのグループを確認するには、/etc/groupを参照します。
このファイルを理解していないかぎり、直接変更はしないでください。

[ andrew@pc01 ~ ]$ alias ag=“cut -d: -f1 /etc/group \
> | sort&& ag
adm
anaid
andrew...

グループの追加はgroupaddです。

[ andrew@pc01 ~ ]$ sudo groupadd aardvark && ag
aardvark
adm
anaid...

グループの削除はgroupdelです。

[ andrew@pc01 ~ ]$ sudo groupdel aardvark && ag
adm
anaid
andrew...

グループ操作の詳細についてはこちらを参照してください

Text Processing

uniq / sort / diff / cmp

uniqコマンドは、連続した重複行を削除して表示します。

[ andrew@pc01 man ]$ printf "1\n2\n2" > a && \> printf "1\n3\n2" > b

[ andrew@pc01 man ]$ uniq a
1
2

sortは行をアルファベット順、もしくは数値順に並び替えます。

[ andrew@pc01 man ]$ sort b
1
2
3

diffは、2つのファイルでどの行が異なるかを表示します。

[ andrew@pc01 man ]$ diff a b
2c2
< 2
---
> 3

cmpは、2つのファイルで最初に異なる場所のバイト数を表示します。

[ andrew@pc01 man ]$ cmp a b
a b differ: char 3, line 2

cut / sed

cutは、文字列をなんらかの区切り文字で分割するコマンドで、CSV処理などに向いています。
-dで区切り文字を指定し、-fは出力するインデックス(1始まり)を指定します。

[ andrew@pc01 man ]$ printf "137.99.234.23" > c

[ andrew@pc01 man ]$ cut -d'.' c -f1
137

sedは、ファイル内の文字列を別の文字列に置換するためによく使われます。

[ andrew@pc01 man ]$ echo "old" | sed s/old/new/
new

実のところsedは非常に強力なユーティリティであり、この狭いスペースでは到底解説することができません。
sedはチューリング完全であり、他のプログラミング言語でできることなら何でもできます。
sedは、正規表現に基づいてテキストを検索・置換し、特定パターンに一致する、あるいは含む行を抽出したり、テキストファイルを非対話式にIn-place編集したり、その他様々なことが行えます。
詳しくは以下のようなチュートリアルを参照してください。
https://www.tutorialspoint.com/sed/
http://www.grymoire.com/Unix/Sed.html
https://www.computerhope.com/unix/used.htm

Pattern Matching

grep

grepの名前はsearch Globally for a Regular Expression and Print itに由来します。
ファイルから、特定のパターンに一致するテキストを見つけるために使用されます。

[ andrew@pc01 ~ ]$ grep -e ".*fi.*" /etc/profile
# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))
    # The file bash.bashrc already sets the default PS1.
    fi
    fi
...

普通に単語検索もできます。

[ andrew@pc01 ~ ]$ grep "andrew" /etc/passwd
andrew:x:1000:1000:andrew,,,:/home/andrew:/bin/bash

ファイル内の一致する行を見つけた後、他のプログラムでその行を処理させたい場合などに、grepは最適な選択です。

grepでは、正規表現-E、複数文字列のいずれかとマッチさせる-F、ディレクトリ内のファイルを再帰的に検索する-rなどのオプションが存在します。
これらのオプションは元々個別コマンドegrepfgreprgrepとして実装されていましたが、個別コマンドは非推奨になりました。

おまけ
いろいろなコマンド名の由来を見てみよう。

awk

awkは、CSVなどのデリミタで区切られたデータファイルを読み取り、操作することを念頭に作られた言語です。
経験的に、grepはファイルから特定の文字列やパターンを見つけるのに適していて、sedはファイル内の文字列を1対1で置換するのに適しています。
そしてawkは、ファイルからパターンを抽出して分析するのに適しています。

awkができることの例として、2列のデータを含むファイルを処理してみます。

[ andrew@pc01 ~ ]$ printf "A 10\nB 20\nC 60" > file

行ごとにループし、数値を合計し、平均を出力するコードは以下のようになります。

[ andrew@pc01 ~ ]$ awk 'BEGIN {sum=0; count=0; OFS=" "} {sum+=$2; count++} END {print "Average:", sum/count}' file
Average: 30

sedawkはどちらもチューリング完全な言語です。
これらはパターンマッチングとテキスト処理に非常に役立つ言語で、そしてそれぞれについて書かれた本もたくさんあります。
それらについて書き記すにはここには余白が足りません。
もっと調べてみてください。

おまけ
sedgrepawkの違いについて学ぼう

Copying Files Over ssh

ssh / scp

sshは、Unixベースのマシン同士がネットワークを介して接続する方法です。

[ andrew@pc01 ~ ]$ ssh –p <port> andrew@137.xxx.xxx.89
Last login: Fri Jan 11 12:30:52 2019 from 137.xxx.xxx.199

別のマシンに入ったのでプロンプトが変わりました。

[ andrew@pc02 ~ ]$ exit
logout
Connection to 137.xxx.xxx.89 closed.

マシン1でファイルを作成します。

[ andrew@pc01 ~ ]$ echo "hello" > hello

これをマシン2にコピーするにはscpコマンドを使用します。
sshはポート番号を-pで指定するのに対し、scp-Pで指定するのに注意しましょう。

[ andrew@pc01 ~ ]$ scp –P <port> hello andrew@137.xxx.xxx.89:~
hello                                         100%    0     0.0KB/s   00:00

確認のため、sshでマシン2に入りましょう。

[ andrew@pc02 ~ ]$ ssh –p <port> andrew@137.xxx.xxx.89
Last login: Fri Jan 11 22:47:37 2019 from 137.xxx.xxx.79

そこにファイルが存在しているはずです。

[ andrew@pc02 ~ ]$ ls
hello  multi  xargs

[ andrew@pc02 ~ ]$ cat hello
hello

rsync

rsyncは、ファイル間の差分を調べることにより、コピーされるデータ量を少なく抑えるファイルコピーツールです。

2つのディレクトリdsが存在し、dにはファイルがひとつ、sにはふたつ存在するとします。

[ andrew@pc01 d ]$ ls && ls ../s
f0
f0  f1

ディレクトリをrsyncで同期すると、不足しているファイルだけがコピーされます。

[ andrew@pc01 d ]$ rsync -av ../s/* .
sending incremental file list...

最終的にdディレクトリには、sディレクトリに存在する全てのファイルが集まります。

[ andrew@pc01 d ]$ ls
f0  f1

rsyncssh経由でも実行できます。

[ andrew@pc02 r ]$ ls

[ andrew@pc02 r ]$ rsync -avz -e "ssh -p <port>" andrew@137.xxx.xxx.79:~/s/* .
receiving incremental file list
f0
f1

sent 62 bytes  received 150 bytes  141.33 bytes/sec
total size is 0  speedup is 0.00

Long-Running Processes

yes / nohup / ps / kill

ネットワークやハードウェアの問題によって、SSH接続が切断されることがよくあります。
その際、そのSSH接続から起動されていたプロセスには全てHUPシグナルが送られ、プロセスは強制終了されます。

yesコマンドは、停止されるまで"y"を出力し続けます。
これをnohupと一緒に実行しましょう。

[ andrew@pc01 ~ ]$ nohup yes &
[1] 13173

psは、現在のユーザが実行しているプロセスを一覧表示します。
以下の例では、yesコマンドのPIDは13713です。

[ andrew@pc01 ~ ]$ ps | sed -n '/yes/p'
13173 pts/10   00:00:12 yes

ログアウトして再度ログインしてみましょう。

[ andrew@pc01 ~ ]$ ps | sed -n '/yes/p'

表示されなくなりました。
が、実際は裏で実行され続けていてtophtopには出てきます。

[ andrew@pc01 ~ ]$ top -bn 1 | sed -n '/yes/p'
13173 andrew    20   0    4372    704    636 D  25.0  0.0   0:35.99 yes

killコマンドに-9オプションを付けて、このプロセスを強制終了しましょう。

[ andrew@pc01 ~ ]$ kill -9 13173

これでプロセスが終了したため、もうtopにも出てきません。

[ andrew@pc01 ~ ]$ top -bn 1 | sed -n '/yes/p'

cron / crontab / >>

cronはタスクを定期的に実行する簡単な方法を提供します。

crontab –eコマンドでテキストエディタが開き、cronを編集することができます。
以下の行を追加しましょう。

* * * * * date >> ~/datefile.txt

毎分dateコマンドを実行し、出力をファイルに保存します。

[ andrew@pc02 ~ ]$ head ~/datefile.txt
Sat Jan 12 14:37:01 GMT 2019
Sat Jan 12 14:38:01 GMT 2019
Sat Jan 12 14:39:01 GMT 2019...

再びcrontabを編集し、該当行を削除すると、このジョブは停止します。
ジョブの頭にある* * * * *は順に分(0-59)、時間(0-23)、日(1-31)、月(1-12)、曜日(0-6もしくはSun-Sat)を表します。
*を数値に置き換えることで、特定の日や特定の時間にのみジョブを実行することができるようになります。

曜日に関係なくジョブを実行したい場合は、5番目の**のままにしておきます。
全ての項目を*にすると毎分実行されるようになり、これが利用可能な最小間隔になります。
システムが再起動されたときだけ実行するように設定することもでき、これは* * * * *のかわりに@rebootと記載します。
また、1時間あるいは一日のうち特定の回数だけ実行するようにしたり、月や曜日や日など複数項目の組み合わせで指定することも可能です。

もっと詳しく知るにはこちらを参照してください

Miscellaneous

pushd / popd

ディレクトリの移動をスタックするには、cdではなくpushdpopdを使います。
以下の例ではホームディレクトリから開始します。

[ andrew@pc01 ~ ]$ pwd
/home/andrew

フルパスのpushdでディレクトリを移動します。

[ andrew@pc01 ~ ]$ pushd /etc/java/security/security.d/
/etc/java/security/security.d ~

pushdでサブディレクトリに移動します。

[ andrew@pc01 security.d ]$ pushd ~/test/
~/test /etc/java/security/security.d ~

pushdによって積まれたスタックは、表示の一番左側に追加されます。
popdすると一番最後に追加されたディレクトリに戻ります。

[ andrew@pc01 test ]$ popd
/etc/java/security/security.d ~

[ andrew@pc01 security.d ]$ pwd
/etc/java/security/security.d

何度もpopdすると、最終的にpushdを始めたディレクトリに戻ります。

[ andrew@pc01 security.d ]$ popd
~

xdg-open

xdg-openは、ファイルをデフォルトのアプリケーションで開くコマンドです。
HTMLファイルをブラウザで開きたい場合などに便利です。
MacOSで言うopenコマンドに相当します。

[ andrew@pc01 security.d ]$ xdg-open index.html

01.png

xargs

xargs引数のリストに対して、ループ的にコマンドを実行します。

以下はカレントディレクトリ、親ディレクトリ、親の親ディレクトリに対してlsを実行する例です。

[ andrew@pc01 ~ ]$ export lv=".\n..\n../.."

[ andrew@pc01 ~ ]$ printf $lv | xargs ls
.:
multi  file

..:
anaid  andrew  colin...

../..:
bin    dev   index...

引数は、–Iオプションを使うことで次のコマンドの引数に割り当てることができます。

以下はカレントディレクトリ、親ディレクトリ、親の親ディレクトリに対してcdpwdを実行する例です。

[ andrew@pc01 ~ ]$ printf $lv | xargs -I % sh -c 'cd %; pwd %'
/home/andrew
/home
/

もっと詳しく知るには、この素晴らしいチュートリアルをご覧ください。

Bonus: Fun-But-Mostly-Useless Things

楽しいけど役に立たないもの。

w / write / wall / lynx

wは誰がログインしていてさらに何をしているかを表示する、whoの詳細版です。

[ andrew@pc01 ~ ]$ w
 17:32:42 up 434 days,  3:11,  8 users,  load average: 2.32, 2.46, 2.57
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
colin    pts/9    137.xx.xx.210    03Jan19  5:28m  1:12   0.00s sshd: colin [priv]
andrew   pts/10   137.xx.xx.199    11:05    1.00s  0.15s  0.04s sshd: andrew [priv]
colin    pts/12   137.xx.xx.210    03Jan19 34:32   1.59s  1.59s –bash
...

別のユーザに対してwriteでメッセージを送信することができます。

[ andrew@pc01 ~ ]$ echo "hello" | write andrew pts/10

Message from andrew@pc01 on pts/10 at 17:34 ...
hello
EOF

wallwriteと似ていますが、ログイン中の全ユーザに同じメッセージを送信します。
メールやTwitterやWhatsAppといったアプリが普及する前は、メッセージを送るためにwritewallがよく使われていました。

lynxはテキストベースの、完全に機能するWebブラウザです。

02.png

nautilus / date / cal / bc

nautilusは新しいセッションを開き、GUIのファイルマネージャをオープンします。

dateは現在の日付と時刻を表示します。

[ andrew@pc01 ~ ]$ date
Fri Jan 11 17:40:30 GMT 2019

calは今月のカレンダーをテキストで表示します。
本日の日付は強調表示されます。

[ andrew@pc01 ~ ]$ cal
    January 2019
Su Mo Tu We Th Fr Sa
       1  2  3  4  5
 6  7  8  9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

bcは簡易的な電卓です。
かわりにPythonを使いましょう。

[ andrew@pc01 ~ ]$ bc
bc 1.06.95 ...
20/4
5

これでおしまいです!
このリストに追加する必要のある機能や、クールなコマンドを知っていたら教えてください。
またタイプミスや間違いがあったときも教えてください。
ベストを尽くしたつもりですが、きっとたくさんあると思います。

この投稿が参考になったのであれば、ぜひコーヒーを買ってください

Update 8 July 2019

2年前に書かれた、とてもよく似た記事を発見しました
フランス語がわかるのであれば、私の記事の補完に最適だと思います。

コメント欄

「素晴らしいポスト!Andrewサンクス!」
「同じ投稿をPowerShellでやってくれたら思い残すことはない。」
screen。新しいSSH接続を開く。そのセッションはログオフしてもプログラムはずっと実行されたままで、さらに再接続して続きもできる。」「tmuxはいいぞ。screenと似てるけどもっと便利。」
disown。既に動かした後のプログラムを、後からバックグラウンドに持っていける。」
ipythontrash-cliを是非。」
date +%sでUNIXタイムを表示できるよ。」
ncdu初めて知った。これ便利!」
「MacとFreeBSDではtopのユーザ名オプションは-Uだったよ。」
kill -9はいかん、kill -15か単にkillってするんだ。-15はOSに通知が行く、-9はいきなり電源押して切るようなものだ。」
sourceshは同じ結果になることもあるけど全く同じではない。sourceは現在のbash上で実行されてexportした変数も使える。shは新たなシェルを起動するしexportした変数は使えない。」
bashコマンドって言うけど実際はbashコマンドではなくてUnix/Posixコマンドが多いぞ。」
xdg-openの画像がWindowsっぽいんだけどどゆこと?」「MobaXTermを使ってWindowsからUbuntuにログインしてるからなのだ。」
「コマンドプロンプトに|を使っててパイプとわかりにくいのでプロンプトは$にしてほしい。」「ありがとう更新したよ!」
「聖なる牛!」

感想

チュートリアル形式でわかりやすい、bashコマンド入門記事です。
最後まで読めばbashスクリプトをバリバリ組めるようなエキスパートになれるかというと怪しいですが、汎用的なbashコマンドについてはひととおり使えるようになっていることでしょう。

LPICのLevel3まで持ってたらよゆーよゆーとか思ってたけど、わりと知らないコマンドも多かった。
知っていると知らないとでは大違いなので、コマンドや機能が存在していることそのものを認識しておくと、今後役に立つことでしょう。
いきなり詳しく知る必要はありません。
詳細は必要になったときにmanなりググるなりすればいいんですよ。

あと原文は、こうすればこうなりますよというのは書かれているんだけど、"何故"そうなるかが書かれていないところがあってちょっと躓く感じがありました。
和訳にあたりそのあたりを一部補完しています。

トップコメのHoly cow!はどう捉えたらいいのかよくわからなかった。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした