概要
シェル芸勉強会でLTをしてみたかったのでGoをワンライナーで書くコマンドを作りなおしました。
Gowkというものです。
スライド
説明
内容としては3つありました。
- Goシェル芸自体は既出でした。昔g1というコマンドをシェルスクリプトで作りましたがいくつか不都合がありました。（ラッパーさえ書けばコンパイルするタイプの処理系でもシェル芸できるといえばできる説もある）
- 作り直す際にGoのコードを動的に実行しようとしましたが調べたところ無理そうなので諦めました。一時ファイルにコードを出力しコンパイルして実行する形式になりました。
- Golangでawk風のワンライナーが書けるgowkというコマンドを作ってデモを行いました。
まとめについての補足
会場で質問をいただきましたが、Go言語がシェル芸に向いていないと考える理由はいくつかあります。
- トップレベルに直接コードが書けません。
- 設計思想的に短く書くことをあまり想定していないのである程度長めになります。
- awk等と比べると文字列と数値の扱いが厳格なので型変換が面倒です。とはいえGoの場合は代入時の型推論があるので一般的な静的型言語より短く書ける場合もあるかと思います。
- ワンライナーで書くには多値で帰ってくるエラーがちょっと邪魔かと思います。また多値で帰ってくるエラーのため関数の引数の中で関数を実行する書き方ができない場合があり、ショートコーディングが辛いということになります。
- ちょっと思ったけどエラーを握りつぶしつつ値変換するひとがいればよいかも。行儀は悪いがワンライナーなのでよしとする。
実際に使ってみる
LT準備のため会場で問題を解けなかったので解いていきたいと思います。
問題等の詳細は39回シェル芸勉強会リンク集を参照してください。
fishなのでBash/Zshとエスケープが違うかもしれません。
gowkのオプションは以下のような感じです。
- -n: 1行読んで処理するモード
- -v: verbose(コンパイル前のコードを表示する)
- -i [pkg]: パッケージをインポートする。複数指定可。
- [-d, -b, -e] [script]: 定義類と開始処理と終了処理
- -r [script]: メインの処理
Q1
regexp.Expandかregexp.ReplaceAllFuncでいけそうだけど後方参照がやたら弱い。
正規表現まわりやたら不便なので便利ライブラリを作りたいですねこれ…。
特殊パターンのとこがつらい。
➜ vol.39 git:(master) ✗ cat wrong.md | gowk -v -i os -i io/ioutil -i regexp -r 's,_:=ioutil.ReadAll(os.Stdin);reg:=regexp.MustCompile(`[\[\(](?P<url>[^\]\)]+?)[\]\)][\[\(](?P<tex
t>[^\]\)]+?)[\]\)]`);bs:=reg.ReplaceAllFunc(s,func(s []byte)[]byte{sm:=reg.FindStringSubmatch(string(s));if strings.HasPrefix(sm[2],"群") || strings.HasPrefix(sm[2],"h") {_s:=sm[2
];sm[2]=sm[1];sm[1]=_s};return []byte(fmt.Sprintf("[%s](%s)",sm[2],sm[1]))});fmt.Println(string(bs))'
2018/12/24 20:18:07 package main
import (
"fmt"
"io/ioutil"
"os"
"regexp"
"strings"
)
func main() {
// begin
// main
s, _ := ioutil.ReadAll(os.Stdin)
reg := regexp.MustCompile(`[\[\(](?P<url>[^\]\)]+?)[\]\)][\[\(](?P<text>[^\]\)]+?)[\]\)]`)
bs := reg.ReplaceAllFunc(s, func(s []byte) []byte {
sm := reg.FindStringSubmatch(string(s))
if strings.HasPrefix(sm[2], "群") || strings.HasPrefix(sm[2], "h") {
_s := sm[2]
sm[2] = sm[1]
sm[1] = _s
}
return []byte(fmt.Sprintf("[%s](%s)", sm[2], sm[1]))
})
fmt.Println(string(bs))
//end
}
# わたしはマークダウソちょっとできる
## 軍馬県高崎市
[軍魔県](https://ja.wikipedia.org/wiki/%E7%BE%A4%E9%A6%AC%E7%9C%8C)は、日本の県庁所在地の一つ。県庁所在地は[高崎市](https://ja.wikipedia.org/wiki/%E9%AB%98%E5%B4%8E%E5%B8%82)
* [松井常松](https://ja.wikipedia.org/wiki/%E6%9D%BE%E4%BA%95%E5%B8%B8%E6%9D%BE)
* [高崎ハム](http://takasakiham.com/?transactionid=8e5164a76108c8411e7547d69e0dd0fd443f072a)
最終的なGoのソースコード。なんかもう少し短くなりそうな気もする。
正規表現中に後方参照用のラベルが残ってるけど不要。
配列のインデックスの入れ替えはa[1],a[2] = a[2],a[1]とか書ける。
strings.HasPrefixを無理に使う必要はないかも。
package main
import (
"fmt"
"io/ioutil"
"os"
"regexp"
"strings"
)
func main() {
// begin
// main
s, _ := ioutil.ReadAll(os.Stdin)
reg := regexp.MustCompile(`[\[\(](?P<url>[^\]\)]+?)[\]\)][\[\(](?P<text>[^\]\)]+?)[\]\)]`)
bs := reg.ReplaceAllFunc(s, func(s []byte) []byte {
sm := reg.FindStringSubmatch(string(s))
if strings.HasPrefix(sm[2], "群") || strings.HasPrefix(sm[2], "h") {
_s := sm[2]
sm[2] = sm[1]
sm[1] = _s
}
return []byte(fmt.Sprintf("[%s](%s)", sm[2], sm[1]))
})
fmt.Println(string(bs))
//end
}
Q2
ソートパッケージもワンライナーで使うには冗長。各会場の行はMapで持つことにした。
➜ vol.39 git:(master) ✗ cat attendee.md | gowk -v -i sort -n -d 'type sg struct{n string;v map[string]string};func(s *sg)add(v string){s.v[v[6:9]]=v};type ss []sg;func(s ss)Len()int{return len(s)};func(s ss)S
wap(i,j int){s[i],s[j]=s[j],s[i]};func(s ss)Less(i,j int)bool{return s[i].n[5:7]<s[j].n[5:7]}' -b 'i:=-1;var ts ss = []sg{}' -r 'if s[0][0] == \'*\' {i=i+1;ts=append(ts,sg{n:s[0],v:map[string]string{}});contin
ue};ts[i].add(s[0])' -e 'sort.Sort(ts);for _,s1:=range ts{fmt.Println(s1.n);for _,s2:=range []string{"福","大","東"}{if _,ok:=s1.v[s2];ok{fmt.Println(s1.v[s2])}}}'
2019/01/07 00:28:06 fixImports(filename=""), abs="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData/vol.39", srcDir="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData" ...
2019/01/07 00:28:06 package main
import (
"bufio"
"fmt"
"os"
"sort"
"strings"
)
type sg struct {
n string
v map[string]string
}
func (s *sg) add(v string) { s.v[v[6:9]] = v }
type ss []sg
func (s ss) Len() int { return len(s) }
func (s ss) Swap(i, j int) { s[i], s[j] = s[j], s[i] }
func (s ss) Less(i, j int) bool { return s[i].n[5:7] < s[j].n[5:7] }
func main() {
i := -1
var ts ss = []sg{}
r := os.Stdin
scanner := bufio.NewScanner(r)
for scanner.Scan() {
s := []string{scanner.Text()}
s = append(s, strings.Fields(s[0])...)
if s[0][0] == '*' {
i = i + 1
ts = append(ts, sg{n: s[0], v: map[string]string{}})
continue
}
ts[i].add(s[0])
}
if err := scanner.Err(); err != nil {
fmt.Fprintln(os.Stderr, "reading standard input:", err)
}
sort.Sort(ts)
for _, s1 := range ts {
fmt.Println(s1.n)
for _, s2 := range []string{"福", "大", "東"} {
if _, ok := s1.v[s2]; ok {
fmt.Println(s1.v[s2])
}
}
}
}
* 第34回シェル芸勉強会
* 大阪: 16
* 東京: 19
* 第35回シェル芸勉強会
* 大阪: 10
* 東京: 27
* 第36回シェル芸勉強会
* 東京: 38
* 第37回シェル芸勉強会
* 福岡: 8
* 大阪: 10
* 東京: 21
* 第38回シェル芸勉強会
* 福岡: 3
* 大阪: 8
* 東京: 26
最終的なGoのソースコード。選択ソートを自力で書いたほうが短いかもしれない。
package main
import (
"bufio"
"fmt"
"os"
"sort"
"strings"
)
type sg struct {
n string
v map[string]string
}
func (s *sg) add(v string) { s.v[v[6:9]] = v }
type ss []sg
func (s ss) Len() int { return len(s) }
func (s ss) Swap(i, j int) { s[i], s[j] = s[j], s[i] }
func (s ss) Less(i, j int) bool { return s[i].n[5:7] < s[j].n[5:7] }
func main() {
i := -1
var ts ss = []sg{}
r := os.Stdin
scanner := bufio.NewScanner(r)
for scanner.Scan() {
s := []string{scanner.Text()}
s = append(s, strings.Fields(s[0])...)
if s[0][0] == '*' {
i = i + 1
ts = append(ts, sg{n: s[0], v: map[string]string{}})
continue
}
ts[i].add(s[0])
}
if err := scanner.Err(); err != nil {
fmt.Fprintln(os.Stderr, "reading standard input:", err)
}
sort.Sort(ts)
for _, s1 := range ts {
fmt.Println(s1.n)
for _, s2 := range []string{"福", "大", "東"} {
if _, ok := s1.v[s2]; ok {
fmt.Println(s1.v[s2])
}
}
}
}
Q3
標準ライブラリにパーサーがあるのでこれは割と楽。見るだけならこんな感じで。
➜ vol.39 git:(master) ✗ cat index.html | gowk -v -i golang.org/x/net/html -r 'z := html.NewTokenizer(os.Stdin);for{tt := z.Next();switch tt {case html.ErrorToken:return;case html.StartTagToken:t:=z.Token();tagName := strings.ToLower(t.Data);if tagName == "meta" {fmt.Println(t)}}}'
2019/01/07 01:13:05 fixImports(filename=""), abs="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData/vol.39", srcDir="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData" ...
2019/01/07 01:13:05 package main
import (
"fmt"
"os"
"strings"
"golang.org/x/net/html"
)
func main() {
z := html.NewTokenizer(os.Stdin)
for {
tt := z.Next()
switch tt {
case html.ErrorToken:
return
case html.StartTagToken:
t := z.Token()
tagName := strings.ToLower(t.Data)
if tagName == "meta" {
fmt.Println(t)
}
}
}
}
<meta content="世界中のあらゆる情報を検索するためのツールを提供しています。さまざまな検索機能を活用して、お探しの情報を見つけてください。" name="description">
<meta content="noodp" name="robots">
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<meta content="/images/branding/googleg/1x/googleg_standard_color_128dp.png" itemprop="image">
最終的なGoのソースコード。
package main
import (
"fmt"
"os"
"strings"
"golang.org/x/net/html"
)
func main() {
z := html.NewTokenizer(os.Stdin)
for {
tt := z.Next()
switch tt {
case html.ErrorToken:
return
case html.StartTagToken:
t := z.Token()
tagName := strings.ToLower(t.Data)
if tagName == "meta" {
fmt.Println(t)
}
}
}
}
Q4
これもHTMLのパースの問題なので同様。めんどくさいので2回叩いてしまうが…。
➜ vol.39 git:(master) ✗ cat index.html | gowk -v -i golang.org/x/net/html -r 'z := html.NewTokenizer(os.Stdin);for{tt := z.Next();switch tt {case html.ErrorToken:return;case html.StartTagToken:t:=z.Token();tagName := strings.ToLower(t.Data);if tagName == "script" {z.Next();fmt.Println(string(z.Text()))}}}'>index.js
2019/01/07 02:49:00 fixImports(filename=""), abs="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData/vol.39", srcDir="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData" ...
2019/01/07 02:49:00 package main
import (
"fmt"
"os"
"strings"
"golang.org/x/net/html"
)
func main() {
z := html.NewTokenizer(os.Stdin)
for {
tt := z.Next()
switch tt {
case html.ErrorToken:
return
case html.StartTagToken:
t := z.Token()
tagName := strings.ToLower(t.Data)
if tagName == "script" {
z.Next()
fmt.Println(string(z.Text()))
}
}
}
}
➜ vol.39 git:(master) ✗ cat index.html | gowk -v -i golang.org/x/net/html -r 'z := html.NewTokenizer(os.Stdin);for{tt := z.Next();switch tt {case html.ErrorToken:return;case html.StartTagToken:t:=z.Token();tagName := strings.ToLower(t.Data);if tagName == "style" {z.Next();fmt.Println(string(z.Text()))}}}'>index.css
2019/01/07 02:49:21 fixImports(filename=""), abs="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData/vol.39", srcDir="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData" ...
2019/01/07 02:49:21 package main
import (
"fmt"
"os"
"strings"
"golang.org/x/net/html"
)
func main() {
z := html.NewTokenizer(os.Stdin)
for {
tt := z.Next()
switch tt {
case html.ErrorToken:
return
case html.StartTagToken:
t := z.Token()
tagName := strings.ToLower(t.Data)
if tagName == "style" {
z.Next()
fmt.Println(string(z.Text()))
}
}
}
}
Q4とほぼ同じなのでGoのソースコードは省略。
Q5
これもHTML分解なのだがだいぶ端折っている。外部参照してるscript/styleはないようなのでとりあえず飛ばせばいける。
➜ vol.39 git:(master) ✗ cat index.html | gowk -v -i golang.org/x/net/html -r 'z := html.NewTokenizer(os.Stdin);for{tt := z.Next();switch tt {case html.ErrorToken:return;case html.StartTagToken:t:=z.Token();tagName := strings.ToLower(t.Data);if tagName == "script" || tagName=="style" {z.Next();z.Next()};default: fmt.Print(string(z.Raw()))}}'
2019/01/07 09:56:35 fixImports(filename=""), abs="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData/vol.39", srcDir="/Users/yuichiro/go/src/github.com/ryuichiueda/ShellGeiData" ...2019/01/07 09:56:35 package main
import (
"fmt"
"os"
"strings"
"golang.org/x/net/html"
)
func main() {
z := html.NewTokenizer(os.Stdin)
for {
tt := z.Next()
switch tt {
case html.ErrorToken:
return
case html.StartTagToken:
t := z.Token()
tagName := strings.ToLower(t.Data)
if tagName == "script" || tagName == "style" {
z.Next()
z.Next()
}
default:
fmt.Print(string(z.Raw()))
}
}
}
<!doctype html>Google</title> 検索</b> 画像</a> マップ</a> Play</a> YouTube</a> ニュース</a> Gmail</a> ドライブ</a> もっと見る</u> »</a></nobr></div></span></span></span>ウェブ履歴</a> | 設定</a> | ログイン</a></nobr></div></div></div> </div></div> </td></div></span></span></span></span></td>検索オプション</a>言語ツール</a></td></tr></table></form></div></div>広告掲載</a>ビジネス ソリューション</a>+Google</a>Google について</a>Google.co.jp</a></div></div>© 2019 - プライバシー</a> - 規約</a></p></span></center> </body></html>⏎
Q4とほぼ同じなのでGoのソースコードは省略。
体力と時間が尽きた…。
感想
使うのがたいへんつらいので、短く簡潔に書くためのイディオム/ライブラリの考察とかには意外と役に立つのかもしれない。