そもそも何をやろうとしていたのか

とある、Webサービスにおいてユーザーの行動分析データを収集しており、そのデータに基づいて回答をするGPTsを作成したかった。

データは下記のように定義されている（GPTsに設定したAPI定義）

{
  "openapi": "3.1.0",
  "info": {
    "title": "行動データ取得",
    "description": "記録された生の行動データを取得する",
    "version": "v1.0.0"
  },
  "servers": [
    {
      "url": "https://xxx"
    }
  ],
  "paths": {
    "/api/action": {
      "get": {
        "description": "記録された生の行動データを取得する",
        "operationId": "GetData",
        "parameters": [
          {
            "name": "start_date",
            "in": "query",
            "description": "取得データの日付範囲の始端です",
            "required": true,
            "schema": {
              "type": "string"
            },
            "example":"2024-04-20"
          },
          {
            "name": "end_date",
            "in": "query",
            "description": "取得データの日付範囲の終端です",
            "required": true,
            "schema": {
              "type": "string"
            },
            "example":"2024-04-25"
          }
        ],
        "deprecated": false,
        "responses": {
          "200": {
            "description": "取得した行動データ",
            "content": {
              "application/json": {                
                "schema": {
                  "type": "object",
                  "properties": {
                    "data": {
                      "type": "array",
                      "description": "セッションデータ。この要素の数がセッション数になる",
                      "items": {
                        "type": "object",
                        "properties": {
                          "id": {
                            "type": "string",
                            "example": "895eec5a-70e7-4e04-92ba-8f1c2250fe4e",
                            "description": "セッションを一意に区別するためのID"
                          },
                          "timestamp": {
                            "type": "string",
                            "example": "2024-04-17 17:42:17",
                            "description": "セッションが発生した日時になります"
                          },
                          "ua": {
                            "type": "string",
                            "example": "Mozilla/5.0 (iPhone; CPU iPhone OS 17_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/21D61 Instagram 321.0.2.24.105 (iPhone16,2; iOS 17_3_1; ja_JP; ja; scale=3.00; 1290x2796; 572181444) NW/3",
                            "description": "そのセッションが発生した端末のユーザーエージェント情報を保存しています"
                          },
                          "isCTA": {
                            "type": "boolean",
                            "example": "true",
                            "description": "そのセッションにおいてCTA（Call To Action）が実行されたかどうかを示しています"
                          },
                          "CTADatetime": {
                            "type": "string",
                            "example": "2024-03-12 6:55:30",
                            "description": "CTAが実行された日時になります"
                          },
                          "isCV": {
                            "type": "boolean",
                            "example": "true",
                            "description": "そのセッションでコンバージョンがあったかどうかを示すデータです"
                          }
                        }
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

ところが

実際にGPTsに下記のような質問をしてみる

2024/4/24のセッション数、CTAクリック数、CV数を教えてください

ところが、結果を見てみるとセッション数、CTAクリック数、CV数が実際の集計結果と異なる結果になっている。
また、一度リロードしてから同じ質問をすると別の不正確な結果を返してくる。

APIが返す結果自体はPostmanで確認済みなので、GPTsの集計する結果に問題がありそう・・・

データ数を調整しながら検証

先ほど検証した2024/4/24は100を超えるセッションが記録されていたので、データの数を少ないところから始めてどれくらいでデータが不正確になるかを検証することにした

検証用のAPI

import json
import os


def lambda_handler(event, context):
    # 環境変数から作成するセッション数を取得
    session_num = int(os.environ['SESSION_NUM'])

    # セッション数分のデータを作成
    session_items = []

    for i in range(session_num):
        session_items.append({
            "id": i,
            "timestamp": '2021-01-01T00:00:00.000Z',
            "ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
            "isCTA": i % 2 == 0,
            "CTADatetime": i % 2 == 0 and '2021-01-01T00:00:00.000Z' or None,
            "isCV": i % 3 == 0,
        })

    # JSON レスポンス
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'application/json',
            'Access-Control-Allow-Origin': '*'
        },
        'body': json.dumps(session_items)
    }

検証用に上記のコードを作成し、APIGateway+Lambdaでデプロイをした。
これで環境変数SESSION_NUMを変更すれば返却されるデータの件数を自由に操作することができる。

検証開始

SESSION_NUM	セッション数	CTAクリック数	CV数
3	3	2	1
6	6	3	2
9	9	4	2
12	12	5	3
15	10	5	3
20	10	5	3
50	16	8	4
100	10	5	3

セッション数を9にしたところで早くもデータがおかしくなり、15の時には全ての指標でデータが正しく取得できないことがわかった

まとめ

やはりデータ量が多いと集計結果が不正確になることがわかった

このことからも生データを直接渡して集計・分析をしてもらうような方法はGPTsでは難しそうなので、ファインチューニングで同じデータを渡した時にはどうかを次回以降で検証したい