GO言語でのunzip処理は archive/zip パッケージを用いれば実装可能ですが、実装をしてみればいくつかのつまづきポイントがあったため本記事に備忘録も兼ねて記しておきます。
つまづきポイントとしては
- Windowsで圧縮された日本語名のファイル対応(Shift JIS)
- macOS特有のファイル除去
- 脆弱性Zip Slipの対策 (←一番話したいこと)
などでした。
本当は上二つの記事を書くつもりでしたが、実装する内に脆弱性の勉強する機会に巡り合ったため脆弱性の話重めで書こうと思います。
参考したunzipのコード : https://golangcode.com/unzip-files-in-go/
コード全文
package main
import (
"archive/zip"
"fmt"
"io"
"os"
"path/filepath"
"strings"
"unicode/utf8"
"golang.org/x/text/encoding/japanese"
"golang.org/x/text/transform"
)
// Zipファイルを解凍
// OS特有のファイル,ディレクトリは解凍対象外(__MACOSX, .DS_Store ..... etc)
func Unzip(src string, dest string) ([]string, error) {
var fileNames []string
r, err := zip.OpenReader(src)
if err != nil {
return fileNames, err
}
defer r.Close()
for _, f := range r.File {
// 不要なファイルは除去
if IsExcludedFileOrDir(f.Name) {
continue
}
if !utf8.ValidString(f.Name) {
// utf8に変換
fname, err := ConvertToUtf8FromShiftJis(f.Name)
if err != nil {
return fileNames, err
}
f.Name = fname
}
fpath := filepath.Join(dest, f.Name)
// 脆弱性Zip Slipの対策 https://snyk.io/research/zip-slip-vulnerability#go
if !strings.HasPrefix(fpath, filepath.Clean(dest)+string(os.PathSeparator)) {
return fileNames, fmt.Errorf("%s: illegal file path", fpath)
}
if f.FileInfo().IsDir() {
// ディレクトリ作成
os.MkdirAll(fpath, os.ModePerm)
continue
} else {
fileNames = append(fileNames, f.Name)
}
if err = os.MkdirAll(filepath.Dir(fpath), os.ModePerm); err != nil {
return fileNames, err
}
outFile, err := os.OpenFile(fpath, os.O_WRONLY|os.O_CREATE|os.O_TRUNC, f.Mode())
if err != nil {
return fileNames, err
}
rc, err := f.Open()
if err != nil {
return fileNames, err
}
_, err = io.Copy(outFile, rc)
outFile.Close()
rc.Close()
if err != nil {
return fileNames, err
}
}
return fileNames, nil
}
// 解凍の対象外のファイル,ディレクトリかチェック
func IsExcludedFileOrDir(checkTarget string) bool {
// macOS特有のディレクトリは除去
if strings.HasPrefix(checkTarget, "__MACOSX") {
return true
}
// macOS特有のファイルは除去
if strings.Contains(checkTarget, ".DS_Store") {
return true
}
return false
}
// ShiftJisの文字列をUtf8に変換する
// Utf8の文字列を渡した場合は変換せずそのまま返す
func ConvertToUtf8FromShiftJis(sjis string) (string, error) {
if utf8.ValidString(sjis) {
// 元々utf8のため変換しない
return sjis, nil
}
utf8str, _, err := transform.String(japanese.ShiftJIS.NewDecoder(), sjis)
return utf8str, err
}
func main() {
zipFile := "zip_file.zip"
unzipPath := "/tmp/unzip"
unzipFiles, err := Unzip(zipFile, unzipPath)
if err != nil {
fmt.Println(err)
panic(1)
}
fmt.Printf("unzif files : %d\n", len(unzipFiles))
}
脆弱性Zip Slipの対策
脆弱性Zip Slipについては以下のサイトが参考にして欲しいですが、ZIPファイル内に ../../../../../../../../tmp/evil.sh ファイルが含まれている場合、そのまま解凍した時 ../ により階層次第ではルート直下の /tmp/evil.sh が上書きされるという脆弱性です。
上記サイトにならって脆弱性の対策をしたコードが以下の部分です。
// Zipファイルを解凍
// OS特有のファイル,ディレクトリは解凍対象外(__MACOSX, .DS_Store ..... etc)
func Unzip(src string, dest string) ([]string, error) {
// ~~~省略~~~
for _, f := range r.File {
// ~~~省略~~~
fpath := filepath.Join(dest, f.Name)
// 脆弱性Zip Slipの対策 https://snyk.io/research/zip-slip-vulnerability#go
if !strings.HasPrefix(fpath, filepath.Clean(dest)+string(os.PathSeparator)) {
return fileNames, fmt.Errorf("%s: illegal file path", fpath)
}
// ~~~省略~~~
}
return fileNames, nil
}
まずは解凍先ファイルである fpath ですが filepath.Join はただ連結するだけでなくパスを最適化（ filepath.Clean と同じ動作）してくれます。するとzipファイルに悪意あるファイル ../../../../../../../../tmp/evil.sh が含まれていた場合、以下の結果になります。
fpath = "/tmp/evil.sh"
※ dest 次第では違う結果になる場合があります。
※ 最適化とは a//b を a/b に変換したり、 /../a/b/../././/c を /a/c と変換してくれること。
このまま fpath で解凍処理をしてしまうと意図しないファイルが上書きされるため意図した解凍先かをチェックする必要があります。チェックの処理は以下のコードです。
if !strings.HasPrefix(fpath, filepath.Clean(dest)+string(os.PathSeparator)) {
// 悪意あるファイル
}
filepath.Clean(dest)+string(os.PathSeparator) は解凍先ディレクトリであり、 strings.HasPrefix 関数で解凍先ファイル名 fpath の先頭が解凍先ディレクトリと同じかをチェックしてくれます。
よりわかりやすくすると
- 解凍ファイル
f.Name= ../../../../../../../../tmp/evil.sh - 解凍先ディレクト
dest= /hoge/foo/unzip
の条件の場合、以下の内容になります。
fpath := filepath.Join("/hoge/foo/unzip", "../../../../../../../../tmp/evil.sh") // 最適化されるため "/tmp/evil.sh" になる
unzipDir := filepath.Clean("/hoge/foo/unzip") + string(os.PathSeparator) // "/hoge/foo/unzip/"
if !strings.HasPrefix("/tmp/evil.sh", "/hoge/foo/unzip/") {
// 悪意あるファイル
}
これであれば悪意あるファイルがあった場合、解凍処理が中断されるため安心ですね。
Shift JIS対応
今回はShift JISのファイル名が含まれていた場合はUTF-8に変換することにします。変換はGoの準標準パッケージである golang.org/x で用意されている transform パッケージを使用しています。
まず、utf8.ValidString でUTF-8かどうかを判定し、UTF-8でないと判定されたら変換処理を行っています。変換は ConvertToUtf8FromShiftJis で行います。
// ShiftJisの文字列をUtf8に変換する
// Utf8の文字列を渡した場合は変換せずそのまま返す
func ConvertToUtf8FromShiftJis(sjis string) (string, error) {
if utf8.ValidString(sjis) {
// 元々utf8のため変換しない
return sjis, nil
}
utf8str, _, err := transform.String(japanese.ShiftJIS.NewDecoder(), sjis)
return utf8str, err
}
macOS特有のファイル除去
macOSでzipファイルを作成した場合、以下の不要なディレクトリ・ファイルが含まれています。
__MACOSX.DS_Store
基本的にサービスでは不要なファイルのため、以下の関数で判定し解凍対象から外すようにします。
// 解凍の対象外のファイル,ディレクトリかチェック
func IsExcludedFileOrDir(checkTarget string) bool {
// macOS特有のディレクトリは除去
if strings.HasPrefix(checkTarget, "__MACOSX") {
return true
}
// macOS特有のファイルは除去
if strings.Contains(checkTarget, ".DS_Store") {
return true
}
return false
}
まとめ
脆弱性Zip Slipの対策の話がメインになってしまいましたが、単純だと思っていたunzip処理もwindowsやmacなどzipファイルが作成される環境によって考慮しなくてはいけないことが多いなと今回感じました。
脆弱性である悪意あるzipファイルですが、基本的に / がファイル名に設定できないため作成することはできませんがzipの内部構造を理解している人がバイナリを直接編集して作成することは可能なので本記事をきっかけに皆さんの実装しているコードでも問題ないかチェックするきっかけになってくれると嬉しいです。