Python ツール #1 ― 簡単なソースコードカウンター

「複数のソースコードを読み込んで、それぞれの行数を Excel ファイルに出力する」という処理の Python スクリプトを開発しました。
世の中にもソースコードカウンターは多々ありますが、自由に整形できるようにしておきたい（例えば、Excel ファイルに出力したい）ので、自作してみました。

世の中のソースコードカウンター

かなり便利そうです。

自作するに至った動機

少量の Python スクリプトコードで自分の好みに合わせたソースコード分析ができるような仕組みを作り、その仕組み利用した第一弾としてソースコードカウンターを作り上げたかったです。

UTF-8 のソースコードファイルと SHIFT-JIS のソースコードファイルが混在していても、処理できるようにしたい。（注1）
結果を Excel ファイルに出力したい。
将来的に特殊な処理も実装できるようにしたい。例えば、キーワード単位の grep をしたい、そのとき、コメントや定数の文字は無視したい。なので、ある程度のトークナイズを実装しておきたい。（注2）

注1）過去に、UTF-8 のソースコードファイルと SHIFT-JIS のソースコードファイルが混在しているプロジェクトがありました。本当は、エンコーディングをごちゃ混ぜにして欲しくはないのですが。

注2）過去に、ソースコードファイルを grep して特定のキーワードを抽出して Excel ファイルに出力することで、ソースコードのリファクタリングの参考とする、というものを開発したことがあります。しかし、トークナイズを実装していないので、絞り込みが緩くて抽出し過ぎとなってしまいました。

トークナイズ：文字列を単語（キーワード）に分解すること。

実行イメージ

入力ソースコードファイル
テスト用にさまざまな入力ソース・コード・ファイルを用意しています。

出力 Excel ファイル
ソースコードファイルを読み込んで、ソースコードのライン数とステップ数をカウントし、Excel ファイルに出力します。

ライン数：コメントのみの行や空行を含む全ての行数。
ステップ数：コメントのみの行や空行を含まない行数。

今回の実装レベル

フォルダー内のソースコードファイルを全てシークして、ソースコードのライン数とステップ数をカウントする。
UTF-8 以外のエンコーディングも、なんとかして可能な限り処理できる仕組みにしておく。今回は、utf-8、shift-jis、gb2312 に対応できる仕組みとした。
java・C 言語系（.java、.c、.cpp）、Python（.py）、SQL（.sql）、その他（.txt など）の 4種類のソースコードに対応する。
ソースコードファイルをトークナイズすることで、クォーテーションやダプルクォーテーション内の文字列を文字列定数と認識する。
また、トークナイズによって、前述の “キーワード単位の grep” が実現できるようにする。
ただし、文字列定数がクォーテーションやダブルクォーテーションで正しく囲まれていない場合は、トークナイズが確実にできない。ボロいが、パーザーやリンターを目指しているわけではないので...（言い訳）。

パーザー：構文解析の機能。
リンター：構文チェックの機能。

今後の展開（想定）

ソースコードファイルの対応を追加する。例えば、.sh、.xml、.js、.html 等にも対応する。
前述の “キーワード単位の grep” を実現する。

ソースコードの簡単な説明

ヘッダー。

source_code_counter.py

#!/usr/bin/env python3

・・・

# Import Libraries
import os
・・・

各定数値。必要に応じて修正してください。例えば、ソースコードファイルのパス “IN_SRC_ROOT” は、D: ドライブからの絶対パスでもよいですしし、“source_code_counter.py” からの相対パスでもよいです。

source_code_counter.py

# Input, Output
IN_DIR = '.\\input'
OUT_DIR = '.\\output'
# IN_SRC_ROOT = 'D:\\Developments\\PyCharmProjects\\source_code_counter\\input'  # noqa
IN_SRC_ROOT = '.\\input'
IN_SRC_RELATIVE = '\\src'
IN_EXCEL = IN_DIR + '\\source_code_counter_list_template.xlsx'
OUT_EXCEL = OUT_DIR + '\\source_code_counter_list.xlsx'
OUT_SHEET = 'Source Code Counter List'
ENCODINGS = ['utf-8', 'shift-jis', 'gb2312']
IGNORE_EXTENDS = ['.dat', '.ini']
OUT_DEBUG = OUT_DIR + '\\debug.txt'

Excel 書出し用クラス。

source_code_counter.py

class WriteExcel:

    def __init__(self, in_excel: str, out_excel: str, out_sheet: str) -> None:
        shutil.copy(in_excel, out_excel)
        self._wb = openpyxl.load_workbook(out_excel)
        self._sheet = self._wb[out_sheet]
        self._row_offset = CELL_ROW_OFFSET
        self._row = 0
        self._out_excel = out_excel
        return

    def next_row(self) -> None:
        self._row += 1
        return

    def get_count(self) -> int:
        return self._row + 1

    def write_cell(self, i_col: int, i_value: Union[int, str],
                   i_align: int = None, i_font: Font = None, i_format: str = None) -> None:
        self._sheet.cell(row=self._row_offset + self._row, column=i_col).border = BORDER_ALL
        if i_value is not None:
            self._sheet.cell(row=self._row_offset + self._row, column=i_col).value = i_value
        if i_align is not None:
            self._sheet.cell(row=self._row_offset + self._row, column=i_col).alignment = i_align
        if i_font is not None:
            self._sheet.cell(row=self._row_offset + self._row, column=i_col).font = i_font
        else:
            self._sheet.cell(row=self._row_offset + self._row, column=i_col).font = FONT_MEIRYO
        if i_format is not None:
            self._sheet.cell(row=self._row_offset + self._row, column=i_col).number_format = i_format
        return

    def close(self) -> None:
        self._wb.save(self._out_excel)
        self._wb.close()
        return

4種類のソースコードファイルの解析。ファイルの各行をトークナイズし、ライン数やステップ数を算出する。処理がかなり長いので、処理の一部は “・・・” で省略しています。

source_code_counter.py

# Scan Python File
def scan_python_file(full_path_file: str, fp) -> (int, int, str):

    for enc in ENCODINGS:

        num_lines = 0
        num_steps = 0
        ・・・

        file = open(full_path_file, 'r', encoding=enc)

        while True:

            try:
                str_line = file.readline()
            except Exception:       # noqa
                file.close()
                break

            # End of Data
            if not str_line:
                file.close()
                return num_lines, num_steps, MSG_NORMAL

            num_lines += 1

            ・・・

            pos_current = 0
            pos_end = len(str_comp)

            tokens = []
            ・・・
            is_ope = False

            while pos_current < pos_end:

                ch = str_comp[pos_current]

                ・・・

                pos_current += 1

            # End of One Line
            ・・・

            if fp is not None:
                strs = ''
                spc = ''
                for cnt, val in enumerate(tokens):
                    strs += spc + '[' + val + ']'
                    spc = ' '
                fp.write('%s %5d: %s\n' % ('|' if is_ope else ' ', num_lines, strs))

            if is_ope:
                num_steps += 1

        # End of All lines

    print('file encoding error in %s' % full_path_file, file=sys.stderr)
    return 0, 0, MSG_ERROR


# Scan Java File
def scan_java_file(full_path_file: str, fp) -> (int, int, str):

    for enc in ENCODINGS:

        num_lines = 0
        num_steps = 0
        ・・・

        file = open(full_path_file, 'r', encoding=enc)

        while True:

            try:
                str_line = file.readline()
            except Exception:       # noqa
                file.close()
                break

            # End of Data
            if not str_line:
                file.close()
                return num_lines, num_steps, MSG_NORMAL

            num_lines += 1

            ・・・

            pos_current = 0
            pos_end = len(str_comp)

            tokens = []
            ・・・
            is_ope = False

            while pos_current < pos_end:

                ch = str_comp[pos_current]

                ・・・

                pos_current += 1

            # End of One Line
            ・・・

            if fp is not None:
                strs = ''
                spc = ''
                for cnt, val in enumerate(tokens):
                    strs += spc + '[' + val + ']'
                    spc = ' '
                fp.write('%s %5d: %s\n' % ('|' if is_ope else ' ', num_lines, strs))

            if is_ope:
                num_steps += 1

        # End of All lines

    print('file encoding error in %s' % full_path_file, file=sys.stderr)
    return 0, 0, MSG_ERROR


# Scan SQL File
def scan_sql_file(full_path_file: str, fp) -> (int, int, str):

    for enc in ENCODINGS:

        num_lines = 0
        num_steps = 0
        ・・・

        file = open(full_path_file, 'r', encoding=enc)

        while True:

            try:
                str_line = file.readline()
            except Exception:       # noqa
                file.close()
                break

            # End of Data
            if not str_line:
                file.close()
                return num_lines, num_steps, MSG_NORMAL

            num_lines += 1

            ・・・

            pos_current = 0
            pos_end = len(str_comp)

            tokens = []
            ・・・
            is_ope = False

            while pos_current < pos_end:

                ch = str_comp[pos_current]

                ・・・

                pos_current += 1

            # End of One Line
            ・・・

            if fp is not None:
                strs = ''
                spc = ''
                for cnt, val in enumerate(tokens):
                    strs += spc + '[' + val + ']'
                    spc = ' '
                fp.write('%s %5d: %s\n' % ('|' if is_ope else ' ', num_lines, strs))

            if is_ope:
                num_steps += 1

        # End of All lines

    print('file encoding error in %s' % full_path_file, file=sys.stderr)
    return 0, 0, MSG_ERROR


# Scan Text File
def scan_text_file(full_path_file: str) -> (int, int, str):

    for enc in ENCODINGS:

        num_lines = 0

        file = open(full_path_file, 'r', encoding=enc)

        while True:

            try:
                str_line = file.readline()
            except Exception:       # noqa
                file.close()
                break

            # End of Data
            if not str_line:
                file.close()
                return num_lines, None, MSG_NORMAL

            num_lines += 1

        # End of All lines

    print('file encoding error in %s' % full_path_file, file=sys.stderr)
    return None, None, MSG_ERROR

再帰を使ってフォルダーをシークし、当該フォルダー内の各ソースコードファイルを解析させる処理。

source_code_counter.py

# Seek Directories
def seek_directories(write_excel: WriteExcel, level: int, dir_root: str, dir_relative: str, fp) -> None:

    dirs = []
    files = []

    for path in os.listdir(dir_root):
        if os.path.isfile(os.path.join(dir_root, path)):
            files.append(path)
        else:
            dirs.append(path)

    files.sort(key=str.lower)
    for file in files:
        full_path_file = os.path.join(dir_root, file)
        if fp is not None:
            fp.write('%5d %s\n' % (write_excel.get_count(), full_path_file))
        base, ext = os.path.splitext(file)
        write_excel.write_cell(CELL_COL_NO, write_excel.get_count(), None, None, NUMBER_FORMAT)
        write_excel.write_cell(CELL_COL_PATH, dir_relative, ALIGN_LEFT_NO_WRAP, None, None)
        write_excel.write_cell(CELL_COL_FILE, file, ALIGN_LEFT_NO_WRAP, None, None)
        write_excel.write_cell(CELL_COL_EXT, ext, ALIGN_CENTER, None, None)
        # Ignore Files
        if (base.startswith('.') and ext == '') or ext in IGNORE_EXTENDS:
            lines = None
            steps = None
        elif ext == '.py':
            lines, steps, msg = scan_python_file(full_path_file, fp)
        elif ext in ('.java', '.c', '.cpp'):
            lines, steps, msg = scan_java_file(full_path_file, fp)
        elif ext == '.sql':
            lines, steps, msg = scan_sql_file(full_path_file, fp)
        elif ext == '.txt':
            lines, steps, msg = scan_text_file(full_path_file)
        # Other Files
        else:
            lines, steps, msg = scan_text_file(full_path_file)
        write_excel.write_cell(CELL_COL_LINES, lines, None, None, NUMBER_FORMAT)
        write_excel.write_cell(CELL_COL_STEPS, steps, None, None, NUMBER_FORMAT)
        print('%5d %s %s %s %s %s' %
              (write_excel.get_count(), dir_relative, file, ext,
               lines if lines is not None else '-', steps if steps is not None else '-'))
        write_excel.next_row()

    dirs.sort(key=str.lower)
    for dir_nest in dirs:
        seek_directories(write_excel, level + 1,
                         os.path.join(dir_root, dir_nest), os.path.join(dir_relative, dir_nest), fp)

    return

メイン処理。デバッグログを出力したくない場合は、“fp = None” を設定し、“fp = open( ... )” をコメントアウトしてください。

source_code_counter.py

# Get Current Time
def get_current_time() -> str:

    now = datetime.datetime.now()
    dt = now.strftime("%Y-%m-%d %H:%M:%S")
    return dt


# Main
def main() -> None:

    try:
        options, arguments = getopt.getopt(sys.argv[1:], shortopts="h", longopts=["help"])
    except getopt.error as message:
        print(message)
        print(__doc__)
        sys.exit(1)

    for option, argument in options:
        if option in ("-h", "--help"):
            print(__doc__)
            sys.exit(0)

    print('Source Code Counter - start [%s]' % get_current_time())

    # fp = None
    fp = open(OUT_DEBUG, 'w', encoding='utf-8')
    write_excel = WriteExcel(IN_EXCEL, OUT_EXCEL, OUT_SHEET)

    seek_directories(write_excel, 0, IN_SRC_ROOT + IN_SRC_RELATIVE, IN_SRC_RELATIVE, fp)

    write_excel.close()
    if fp is not None:
        fp.close()

    print('Source Code Counter - end [%s]' % get_current_time())

    sys.exit(0)


# Goto Main
if __name__ == '__main__':
    main()

ソースコードの置き場所