【Python】膨大な通信ログの調査依頼を自動化してみた

このプログラムの趣旨

このプログラムは、膨大なログの中から任意のIPアドレスを探し出すプログラムです。

プログラム作成の背景

・お客さんから特定の通信先(複数個)とのログがないか確認して欲しいと依頼を受ける。 ・対象のログフォルダを確認してみると、1ファイルあたり数千行のログファイルが数千個存在。 ・手作業でのログ調査をあきらめ、空を見上げる。 ・Python触ったことあるし、なんとかしてプログラムで出来ないものか考えてみる。 ・作ってみた。

プログラム処理のざっくり概要

・特定のフォルダ内のファイルを時系列順にソート ・ファイルを1つずつ読み込み、リスト化する ・確認したいIPアドレスと、リストの中身を比較する ・リスト内にあれば、見つかった旨をCSVに書き込む

プログラムの中身

```log-finder.py import glob import csv import os import re

'''
「XXXX」フォルダに入っているログに
任意のIPアドレスとの通信がないか確認するプログラムです。

検索したいIPアドレスリストは、「ipaddress_list.csv」に記載してください。

フォルダ構造は以下の通りです。
--XXXX
|--検索に使用するログファイルたち
--本プログラム
--ipaddress_list.csv

'''

#ファイルの最終更新時刻順にソートする
files = sorted(glob.glob("XXXX"), key=lambda f: os.stat(f).st_mtime, reverse=False)

フォルダ内のコンフィグを1個ずつ見ていく

for file in files:
# result.csvに書き込むための定義
with open('result.csv','a', newline='') as result_csv:

    # 検索しているファイル名の表示
    print(file + 'で検索しています･･･')

    # 検索しているファイル名をCSVに書き込み
    writer = csv.writer(result_csv)

    # コンフィグを読み込んで、スペース区切りでリスト化
    with open(file, mode='r', newline='', encoding='shift-jis', errors="ignore") as config_file:
        lines = [line for line in config_file]
        print('ログファイルを読み込みました')

        # リストを全部結合する
        total_line_list = ''
        for line_list in lines:
            total_line_list += line_list

        # リスト内の要素を区切り文字で区切る
        split_line_list = re.split(' |=|\r\n',total_line_list)
        # print(split_line_list)

    # 検索したいIPリストを記載したCSVファイルを読み込む
    with open('ipaddress_list.csv') as f:
    #csvファイルを2行目から読み込み(ヘッダースキップ)
        reader = csv.reader(f)
        next(reader)
        serch_ipaddress = ''

        for row in reader:
            # 確認したいIPアドレスをリスト化
            serch_ipaddress = row
            
            # リストを文字列に変換
            mapped_ipaddress = map(str, serch_ipaddress)
            string_converted_ipaddress = ','.join(mapped_ipaddress)

            # IPアドレスがコンフィグ内に存在するか確認
            if string_converted_ipaddress in split_line_list:
                writer.writerow([file + 'で' + string_converted_ipaddress + 'が見つかりました'])
            else:
                pass

    writer.writerow([file + 'での検索が完了しました'])

※もっときれいなコードの書き方あるかもしれないけど、部署内にコーディングできる人がいないので完全に自己流です。

```ipaddress_list.csv
探したいIPアドレス(この行の読み込みはスキップされます)
192.168.0.1
192.168.0.2

プロンプト画面.

ログファイルを読み込みました
{ログファイル#1}で検索しています･･･
ログファイルを読み込みました
{ログファイル#2}で検索しています･･･
ログファイルを読み込みました
{ログファイル#3}で検索しています･･･

result.csv

{ログファイル#1}での検索が完了しました
{ログファイル#2}での検索が完了しました
{ログファイル#3}での検索が完了しました
{ログファイル#3}で192.168.0.1が見つかりました

あとはこれをpyinstallerでexeファイルにして、1クリックで実行できるようにしたら完了。

同じ依頼が数か月後も来たため、プログラム作成しておいてよかったと心の底から思ったのでした。