PANOS不具合の効率的な解析: ウェブスクレイピングとGPTAPIを活用したツールの開発

Last updated at 2023-12-31Posted at 2023-12-31

作成経緯

最近Paloalto 製品のファームアップをすることが多くそのたびに対象のOS を適用して問題ないか、いちいちExcelに転記して翻訳して全部抽出する作業をやってました。

１つのバージョンを調べるだけでも不具合は７０件前後あるので、かなり労力がかかり退屈な作業であんまり好きではありませんでした。

というわけで情報収集、翻訳、Excel作成をウェブスクレイピングで自動化してしまおうと思い作成しました。

既知不具合のページ

pan-os10.2.6 Known Issue

不具合番号と内容が書かれてあるものです。
これを一個一個読んで、不具合の対象なのか、対象なら何が起きてどんな対処が必要なのかを調べます。
英語得意な人ならまだしも、苦手な人は蕁麻疹でちゃいますね。

実際に作成したコード

from bs4 import BeautifulSoup
from html.parser import HTMLParser
from urllib.request import urlopen
import os
import openai
import openpyxl
from openai.api_resources.abstract.engine_api_resource import EngineAPIResource
import time


def ChatAIConnect(prompt):
    EngineAPIResource.class_url = lambda a, b, c: ""

    openai.api_type = "azure"
    openai.api_key = OPENAI_API_KEY
    openai.api_base = OPENAI_BASE
    openai.api_version = "2023-05-15"

    chat_completion = openai.ChatCompletion.create(
        deployment_id="",
        model="",
        messages=[
            {"role": "user", "content": "次の文章を翻訳してください。翻訳した内容のみ出力してください。" + prompt},
        ]
    )

    return chat_completion.choices[0].message.content


def main():
    # 現在のUNIX時間を取得
    current_unix_time = int(time.time())

    # ページの取得
    # ex) url = "https://docs.paloaltonetworks.com/pan-os/10-2/pan-os-release-notes/pan-os-10-2-6-known-and-addressed-issues/pan-os-10-2-6-known-issues"

    url = input("\n\nスクレイピングするknown-issuesのURLを入力してください \n>> ")
    if url == "":
        print("URLが入力されていません…処理を終了します。")
        exit()

    html = urlopen(url)
    soup = BeautifulSoup(html, "html.parser")

    # ページ内のテーブル⓪番目を取得。# trタグを取得
    table = soup.findAll("table")[0]
    rows_data = table.findAll("tr")

    # 出力先のExcelファイルを指定、ワークブックを指定
    base_file_path = "format.xlsx"
    workbook = openpyxl.load_workbook(base_file_path)

    # フォーマットをシート名を変更してコピー、先頭に移動させる
    sheet = workbook.copy_worksheet(workbook["format"])
    sheet.title = url[115:]
    workbook.move_sheet(sheet, offset=-1)

    # 取得したデータ
    for i, row_data in enumerate(rows_data):
        issue_id = None
        description = None
        desc_translated = None

        for j, data in enumerate(row_data.find_all(["td", "th"])):
            # 先頭行はヘッダーなので回避
            if i == 0:
                continue

            # td 要素の中から b タグを探す
            if j == 0:
                issue_id = data.find("b").text.strip()

            # DESCRIPTION を取得
            elif j == 1:
                description = data.text.strip()
                # デバッグ用
                print("\n" + "-" * 50)
                print("【", issue_id, "】", i, "/", int(len(rows_data)) - 1)
                print(description[:100], "...")

                # ChatAIにdescription内容を翻訳させる(翻訳不要ならコメントアウト)
                desc_translated = ChatAIConnect(description)

            # B列（Issue ID列）に書き込み
            sheet.cell(row=i + 2, column=3, value=issue_id)

            # C列（Description列）に書き込み
            sheet.cell(row=i + 2, column=4, value=description)

            # D列（日本語訳列）に書き込み
            sheet.cell(row=i + 2, column=5, value=desc_translated)

    workbook.save(url[115:] + "_" + str(current_unix_time) + ".xlsx")
    print("\nDone !!\n")


if __name__ == "__main__":
    main()