はじめに

Elasticsearch v9.0/v18.8からLOOKUP JOINが実装されました。待ち望まれていた方も多いのではないかと思います。
これまでもENRICHという方法もありましたが、ENRICHポリシーを作成する必要があり少し柔軟性にかけていました。
実装としてはいわゆるOUTER LEFT JOINです。
ただいくつか制限はあります。

ES|QLでのみ利用
LOOKUPモードでインデックスする
v8.18/v9.0以降

2025/04/16のv9.0.0を元に記事を記載しています

手順

では実際に使ってみましょう。
JOINと言えばセキュリティ分野で使われることが多いと思います。

Elasticsearchクラスタを準備

クラウドもしくはオンプレで用意します

クラウド
- https://qiita.com/tomo_s_el/items/3584d0b1fabb0bafa4fa
オンプレ
- https://qiita.com/takeo-furukubo/items/df17ca57203825a45da1

疑似ログ作成

こちらのGitリポジトリをcloneします。
https://github.com/legacyworld/lookup_join

生成AIにADとNGINXの疑似ログを作るプログラムを作らせました。便利な世の中になりました。
プログラムを見ると分かりますが、ADのログでは同じIPアドレスに複数のユーザが割り当てられることがあります（ランダムなので）
被らないようにも出来ますが、被ったときの挙動も見られるのでこのままにしておきます。

疑似ログの数とIPアドレスの範囲はソースコードにベタ書きしています。
READMEにあるように.envを作成しておきます。

docker compose up -dで立ち上げてadlog.pyとnginxlog.pyを実行します。

docker compose up -d
docker exec -it join python /src/adlog.py 
docker exec -it join python /src/nginxlog.py

AD Log

{'@timestamp': '2025-03-24T06:55:51', 'event_id': 4625, 'user.name': 'dunncurtis', 'event': 'User Logon', 'source.ip': '192.168.1.91'}
{'@timestamp': '2025-03-24T06:55:51', 'event_id': 4625, 'user.name': 'diane82', 'event': 'User Logon', 'source.ip': '192.168.1.166'}
{'@timestamp': '2025-03-24T06:45:51', 'event_id': 4624, 'user.name': 'wendycarter', 'event': 'User Logon', 'source.ip': '192.168.1.79'}

NGINX Log

"Mar 21, 2025 @ 17:51:20.000","xkTnt5UBqwkeZIyIP-bE","-","logs-nginx","-","/page-15.html","/page-15.html","HTTP/1.1","HTTP/1.1",DELETE,DELETE,"-","-","4,865","192.168.1.66",200,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
"Mar 21, 2025 @ 17:44:33.000",BETnt5UBqwkeZIyIdOck,"-","logs-nginx","-","/page-20.html","/page-20.html","HTTP/1.1","HTTP/1.1",GET,GET,"-","-",929,"192.168.1.66",404,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"

疑似ログ確認

KibanaのDiscoveryで確認してみます。以下のドキュメントに沿ってData Viewを作成します。
https://www.elastic.co/guide/en/kibana/current/data-views.html

プログラムを実行した時間から1時間前まででランダムで作っているので、Time RangeをLast 1 hourよりも範囲を広げておきます。

AD

200件入れてIPアドレス192.168.1.0 - 192.168.1.100の範囲にしています。

NGINX

5000件入れてIPアドレス192.168.1.0 - 192.168.1.100の範囲にしているので、source.ipも適度に分布しています。

lookupモード

実はAD Log(Lookupされる方)はインデックスのモードをlookupモードにしています。
ソースコードでは以下の部分で指定しています。

def create_index():
    """インデックスを作成する"""
    body = {
    "settings": {
      "index": {
        "mode": "lookup"
      }
    },
        "mappings": {
            "properties": {
            "source.ip": {
                "type": "ip"
            }
            }
        }
    }
    es.indices.create(index=INDEX_NAME, body=body)

ES|QL

LOOKUP JOINはES|QLのみ対応なので、Discovery画面でTry ES|QLをクリックします。
まずは以下のように入れてみます。

FROM logs-ad
| STATS COUNT_DISTINCT(source.ip)

IPアドレスが何種類ぐらい作られたか見てみます。

87なのでいくつか同じIPアドレスで違うユーザネームで作成されているはずです（ユーザネームはFakeで作成している）
ランダムなのでこの値はいろいろ変わります

LOOKUP JOIN

では本記事の主題であるLOOKUP JOINを行ってみます。キーはsource.ipです。@timestampは同じ名前なので変更しておきます

FROM logs-nginx
| RENAME @timestamp AS timestamp_nginx
| LOOKUP JOIN logs-ad ON source.ip
| KEEP timestamp_nginx,source.ip,user.name

ランダムなので結果は色々変わりますが、user.nameがない場合は-になっていますし、一つのIPアドレスで複数ユーザログインがある場合は直積(Direct Product)されています。
上図のキャプチャだと192.168.1.45が直積されているのがわかります。

まとめ

まだ制限はありますが、LOOKUP JOINができることで特にセキュリティ分野においてかなり使いやすくなったのではないかと思います。