なぜ？

僕には、Linux、OSをもっとよく知りたいという漠然とした欲求があります
いや、じゃあカーネルのコード読めよって話ですがまずは身近な所から始めようと思った所存でございます。

bashとかzshとかは、ソースコードがあまりにも大きすぎるので、小さめのdashでshellがどういう風に作られているかを見ていきたいと思います。

はじめに

前提のスキル(というか僕の経験)

Linuxの基礎スキル
- OpenStack構築やWEBサービス開発で基礎的なLinuxスキルはきっとあるのでしょう
何かしらのプログラミング言語経験
- WEBサービスをスクラッチで書いた経験(４年以上前ですが。。)
- PythonのOSSへのバグパッチ提供

ただ上記を見ていただいて分かるように、C言語を使ってバリバリ商用コードを書いていたわけではないので、文法などは適宜調べながら読んでいきます。完走できるか分かりませんが、きっと大丈夫でしょう

バージョン and ソースコード

バージョンは、0.5.9.1を読むことにします。
ソースコードは、適当にここから取ってきました

$curl -O http://gondor.apana.org.au/~herbert/dash/files/dash-0.5.9.1.tar.gz
$tar xzvf dash-0.5.9.1.tar.gz

というわけで、ソースコードが手に入ったので読み進めていきます

ディレクトリー構造

ukinau$ ls dash-0.5.9.1
COPYING      Makefile.am  aclocal.m4   configure    depcomp      missing
ChangeLog    Makefile.in  config.h.in  configure.ac install-sh   src

ChangeLogやCOPYINGは、明確なので説明を省きますがその他のMakefile.amやaclocal.m4について、目的を調べます。普段pythonやrubyなどで開発をしてる人には、これらはあまり馴染みのないものだと思います。

file	what for
Makefile.am	Makefileの雛型のMakefile.inを生成するためのファイル
configure.ac	configureの雛形
src	dashのソースコード
Makefile.in	automakeによって生成される、Makefile.amからMakefile.inを生成。
depcomp	automake --add-missing が用意してくれることのあるスクリプト。ファイルの依存関係を自動的に調べてくれる
missing	automake --add-missing が用意してくれるスクリプト。忘れ物を教えてくれる。
install-sh	automake --add-missing が用意してくれるスクリプト。make installのときに使われることがある。
config.h.in	autoheaderによって生成される
aclocal.m4	aclocalによって生成される
configure	configure.acを元にautoconfが生成する

調べてみると、boldした文字以外のファイルは、autotoolsによって生成される中間ファイルであることがわかります。ですので、１度全部削除して１からビルドして見ましょう。（なんで、中間ファイルがそのままtarballに入っていたんだろう。。。）

dashをソースからインストールしてみる

ディレクトリ構造

ここからダウンロードしたdashディレクトリから、色々中間ファイルを削除して
http://gondor.apana.org.au/~herbert/dash/files/dash-0.5.9.1.tar.gz

下記のようなファイルだけにする

ukinau$ rm -fr aclocal.m4 configure depcomp missing Makefile.in config.h.in install-sh
ukinau$ ls
COPYING      ChangeLog    Makefile.am  configure.ac src

1. aclocal

ukinau$ aclocal
ukianu$ ls
COPYING        ChangeLog      Makefile.am    aclocal.m4     autom4te.cache configure.ac   src

aclocal.m4とautom4te.cacheが生成された。

aclocalとは

ここで少し脱線、「aclocalとはなんだろうか」調べて見た
https://stackoverflow.com/questions/1970926/whats-the-point-of-aclocal
https://cpplover.blogspot.jp/2013/07/gnuautotools.html
https://www.lrde.epita.fr/~adl/dl/autotools.pdf (まだ読んでない...)

どうやら上記サイトに詳しい説明が載っている
Autoconfには、Macroという概念があり複雑な処理を１つの定義にまとめている。
ただ、Autoconfが読み込めるMacroの定義ファイルは１つと決まっているので、
Macroが定義されているファイルをかき集めて、aclocal.m4という１つのファイルにしている。
でaclocalがそのファイルをconfigure.acを元に生成してくれる

2. autoconf

ukinau$ autoconf
ukinau$ ls
COPYING        ChangeLog      Makefile.am    aclocal.m4     autom4te.cache configure      configure.ac   src

configureというファイルが生成された

autoconfとは

configure.acを元にconfigureを生成するソフトウェア
configure.acは、autoscanでsrc配下のCプログラムから自動生成することもできますが、今回のdashのケースでは、すでに定義済みのconfigure.acが用意されてますのでそれを元にしています。

3. autoheader

ukinau$ autoheader
ukinau$ ls
COPYING          Makefile.am      config.h.in      configure.ac     src
ChangeLog        autom4te.cache   configure

config.h.inというファイルが生成された

autoheaderとは

http://markuskimius.wikidot.com/programming:tut:autotools:3
https://www.gnu.org/software/autoconf/manual/autoconf-2.66/html_node/autoheader-Invocation.html

autoheaderは、configure.acを元にconfig.h.inというファイルを生成する
config.h.inは、config.hの元になるファイルである。
環境情報を元に定数の値を操作するような定義ファイルがconfig.h.inであり、configureによってconfig.hになる。
config.hが必要なモチベーションは、ここのサイトが非常にわかりやすい

4. automake

ukinau$ automake --add-missing
configure.ac:8: installing './compile'
configure.ac:2: installing './install-sh'
configure.ac:2: installing './missing'
src/Makefile.am:21: warning: source file 'bltin/printf.c' is in a subdirectory,
src/Makefile.am:21: but option 'subdir-objects' is disabled
automake: warning: possible forward-incompatibility.
automake: At least a source file is in a subdirectory, but the 'subdir-objects'
automake: automake option hasn't been enabled.  For now, the corresponding output
automake: object file(s) will be placed in the top-level directory.  However,
automake: this behaviour will change in future Automake versions: they will
automake: unconditionally cause object files to be placed in the same subdirectory
automake: of the corresponding sources.
automake: You are advised to start using 'subdir-objects' option throughout your
automake: project, to avoid future incompatibilities.
src/Makefile.am:21: warning: source file 'bltin/test.c' is in a subdirectory,
src/Makefile.am:21: but option 'subdir-objects' is disabled
src/Makefile.am:21: warning: source file 'bltin/times.c' is in a subdirectory,
src/Makefile.am:21: but option 'subdir-objects' is disabled
src/Makefile.am: installing './depcomp'
ukinau$ ls
COPYING        Makefile.am    aclocal.m4     compile        configure      depcomp        missing
ChangeLog      Makefile.in    autom4te.cache config.h.in    configure.ac   install-sh     src

compile, depcomp, missing, install-sh, Makefile.inが生成された
しかし、compile, depcomp, missing, install-shはautomakeパッケージに含まれるシェルスクリプトのシンボリックリンクである。これらは --add-missing をつけることで生成される

ukinau$ ls -l | grep -e depcomp -e install-sh -e missing -e compile
lrwxr-xr-x   1 ukinau  staff      61  3 Dec 20:42 compile -> /usr/local/Cellar/automake/1.15.1/share/automake-1.15/compile
lrwxr-xr-x   1 ukinau  staff      61  3 Dec 20:42 depcomp -> /usr/local/Cellar/automake/1.15.1/share/automake-1.15/depcomp
lrwxr-xr-x   1 ukinau  staff      64  3 Dec 20:42 install-sh -> /usr/local/Cellar/automake/1.15.1/share/automake-1.15/install-sh
lrwxr-xr-x   1 ukinau  staff      61  3 Dec 20:42 missing -> /usr/local/Cellar/automake/1.15.1/share/automake-1.15/missing

Makefile.inはMakefileの元になるファイルである

5. configure

configureは、「config.h.in, Makefile.in」を「config.h, Makefile」に変換してくれる

ukinau$ ./configure
ukinau$ ls
COPYING        Makefile.am    autom4te.cache config.h.in    configure      install-sh     stamp-h1
ChangeLog      Makefile.in    compile        config.log     configure.ac   missing
Makefile       aclocal.m4     config.h       config.status  depcomp        src

内部では、config.statusを生成後、config.statusを実行することで「config.h, Makefile」を生成している

6. make

ukinau$ make
ukinau$ ls -l src | grep -e '^...x'
drwxr-xr-x  6 ukinau  staff     204 23 Sep  2016 bltin
-rwxr-xr-x  1 ukinau  staff  141588  3 Dec 21:05 dash
-rwxr-xr-x  1 ukinau  staff   15864  3 Dec 21:05 mkinit
drwxr-xr-x  3 ukinau  staff     102  3 Dec 21:05 mkinit.dSYM
-rwxr-xr-x  1 ukinau  staff   14192  3 Dec 21:05 mknodes
drwxr-xr-x  3 ukinau  staff     102  3 Dec 21:05 mknodes.dSYM
-rwxr-xr-x  1 ukinau  staff    9444  3 Dec 21:05 mksignames
drwxr-xr-x  3 ukinau  staff     102  3 Dec 21:05 mksignames.dSYM
-rwxr-xr-x  1 ukinau  staff   13680  3 Dec 21:05 mksyntax
drwxr-xr-x  3 ukinau  staff     102  3 Dec 21:05 mksyntax.dSYM

実行可能ファイルがいくつかsrcディレクトリ配下に作成されていることがわかります。

buildしたdashをloginシェルにしてみる

ログインshellに指定するために、/etc/shells にdash実行ファイルを追加

ukinau$ echo /Users/ukinau/dash-0.5.9.1/src/dash >> /etc/shells

これをしないとnon-standard shellと言われて変更できません

ukinau$ sudo chsh -s /Users/ukinau/dash-0.5.9.1/src/dash ukinau
ukinau$ su ukinau
$

とビルドしたdashがログインシェルに設定できるとこまで確認しました
ここまでできたので、もし拡張したりしたらビルドし直すことによって自分だけのshellが作れそうです。
まぁそんなことはしないのですが。遊びでもできることが大事です。

考察

なんだか薄っぺらい情報しか載せていませんが、なんとなくどういうプロセスでインストールされるのかわかった気がするので、ちょっと整理します。

configure.acとMakefile.amが大元になっており、ゴールは、Makefileを作ること。
configure.acには、どのような条件でどのような定数を指定するかみたいな定義が羅列されておりマクロが大量に使われている。
マクロは、automakeパッケージに含まれているものも使われている。しかし、前述のようにデフォルトで使えないマクロもあるので、aclocalを使って、それらのマクロ定義ファイルのマクロをaclocal.m4にコピーすることで、autoconfで使えるようになる。
上述で作ったaclocal.m4のマクロを利用して、autoconfでconfigureスクリプトを生成する。
configureスクリプトは、.inのファイルからというファイルを生成する。環境(XXがインストールされているかなど)に応じた変数の置換がベースである。
autoheaderは、config.hの元になるconfig.inを生成するconfig.hは、プリプロセッサに処理されるの定数の定義ファイルである(モチベーションについてはここをみると良い)。
もちろん環境に応じて、それらの定数の値を変更したいので、configureを利用してconfig.hを生成したい。config.h.inは、configure.acでAC_DEFINE.*マクロで定義されている置換ルールが抜粋されて作られている。で最後に、automakeを利用してMakefile.inを生成する。
ここで、configure.inとMakefile.inが揃ったので、configureスクリプトで変数置換を実施して、Makefileを作る。

こうすることで、私の環境に適応したMakefileとconfig.hができて、プログラムのビルドができるようになった。

あまり深く追いすぎてもアレなので、autotoolsはどんな目的でざっくりどんなプロセスを踏むのかを見ていきました。次の投稿から実際にソースコードを読み進めたいと思います。

参考にしたサイト

記事中に基本的には書いてありますが特に参考になるなーと思ったものを下記に記しておきます。(もちろん全部参考になりました、ありがとうございます)

GNU開発ツール
config.hのモチベーションChapter 3: Let's make "Hello, world!" portable
Autotoolsの全体像Autotoolsについてのメモ
Configure.acの文法についてautoconfで「configure」をつくろう
Autotoolsの詳細についてautotools.pdf
Autotoolsの簡単な使い方