Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

Windows Master File Table($MFT) をElasticsearchにimportする

Overview

Windows EventLogをElasticSearchにimportする
Windows EventLogをElasticSearchにimportする(のを100倍早くする)
Windows EventLogをjson形式に変換する

このへんの記事のMFT版です :sushi:

DFIRをする際に, たまにMFT(Windowsのファイル管理テーブル)を調査する必要があるので自分用にライブラリ化しました.
内部でRust製ライブラリを使用しているのでなかなかに高速です.

僕のようにフォレンジック以外の用途として, ファイルを高速に検索するサービスを作ってる人もいるようです(凄い!).
Pythonで検索サービスなんかを作る際にはぜひ活用していただけると嬉しいです.

社内ドキュメントを検索できる『検索君』というシステムを、MFT 高速 Index × Elasticsearch にアップグレードしている話

Usage

コンソールから使ったり

$ mft2es /path/to/your/MFT

Pythonスクリプトからインデックスすることもできます

from mft2es import mft2es

if __name__ == '__main__':
  filepath = '/path/to/your/MFT'
  mft2es(filepath)

おまけ機能として, json形式へのエクスポートもサポートしています

$ mft2json /path/to/your/MFT /path/to/output/target.json

詳しいオプションなどはgithubのほうに書いてありますので, そちらを御覧ください.

また, この手の$MFTなどのファイルは通常の方法では取り出せない(もしくは面倒)ので, AccessDataが無償で提供しているFTK Imagerなどを使うとマウスでカチカチするだけで取り出せていい感じなのではないかなと思います! :thumbsup:

https://accessdata.com/products-services/forensic-toolkit-ftk/ftkimager

色々方法はあるので, 自動化したいなどの場合はググって見ると良いです,
日本語の記事は少ないですが...

Installation

https://github.com/sumeshi/mft2es

pipでインストールしましょう

$ pip install mft2es

Evaluation

インデックスのサンプルとして,
omerbenamram/mft のsampleとして公開されている10MB程度のMFTファイルを使用しました.

$ mft2es ./MFT
> 00:12
$ mft2json ./MFT ./output.json
> 00:02

jsonへの変換は約2秒とそこそこ速いです.
mft2es の方が極端に遅いのは, macOS版DockerのElasticsearchを使用していることも要因っぽいですね.
あくまで目安ということで!

お わ り

sumeshi
大学院生, セキュリティ関連の研究をしています。 Angular/DjangoでWeb関係のお仕事もさせていただいてます。
https://twitter.com/sum3sh1
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away