概要

The Future of Attachments for Elasticsearch and .NETで紹介されているingest-attachmentプラグインを使って、PDFやOfficeファイルをElasticSearchに登録してみます。

ingest-attachment入りの環境の構築

こういうのは面倒なので、Dockerでやります。

FROM elasticsearch:5.0.1

RUN /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-attachment && \
    chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins

ビルドと起動

docker build -t estest:5.0.1 .

docker run --name estest -d -p 9200:9200 -p 9300:9300 estest:5.0.1

ちょこちょこ設定やIndexを確認するのにkibanaがあると便利なので、ついでにkibanaも立てておくとよろし。

docker run --name kibana -d -p 5601:5601 --link estest:elasticsearch kibana:5.0.1

ここで、kibanaにアクセスし、dev toolsより** GET _cat/plugins** を実行すると、ingest-attachmentが入っていることが確認できます。

XKHPlqb ingest-attachment 5.0.1

データ投入側の用意

使ったプログラムはこちらにあります。参照してください。

POCOの準備

Javaで言うところのPOJO、入れ物を用意します。


using Nest;
using System;
using System.Collections.Generic;
using System.Text;

namespace FutureOfAttachments
{
    public class Document
    {
        public int Id { get; set; }
        public string Path { get; set; }
        public string Content { get; set; }
        public Attachment Attachment { get; set; }
    }
}

Attachmentクラスでは、AuthorやContent、ContentLengthといったメタデータを保持できるようになっています。

Mappingとパイプラインの準備

マッピングの作成


var indexResponse = _client.CreateIndex(DocumentsIndex, c => c
    .Settings(s => s
      .Analysis(a => a
        .Analyzers(ad => ad
          .Custom("windows_path_hierarchy_analyzer", ca => ca
            .Tokenizer("windows_path_hierarchy_tokenizer")
        )
     )
     .Tokenizers(t => t
         .PathHierarchy("windows_path_hierarchy_tokenizer", ph => ph.Delimiter('\\'))
        )
      )
   )
   .Mappings(m => m
      .Map<Document>(mp => mp
          .AllField(all => all
              .Enabled(false)
          )
          .Properties(ps => ps
              .Number(n => n
                  .Name(nn => nn.Id)
              )
              .Text(s => s
                  .Name(n => n.Path)
                  .Analyzer("windows_path_hierarchy_analyzer")
              )
              .Object<Attachment>(a => a
                  .Name(n => n.Attachment)
                  .Properties(p => p
                      .Text(t => t.Name(n => n.Name))
                      .Text(t => t.Name(n => n.Content))
                      .Text(t => t.Name(n => n.ContentType))
                      .Number(n => n.Name(nn => nn.ContentLength))
                      .Date(d => d.Name(n => n.Date))
                      .Text(t => t.Name(n => n.Author))
                      .Text(t => t.Name(n => n.Title))
                      .Text(t => t.Name(n => n.Keywords))
                  )
              )
          )
      )
  )
);

こうして登録したマッピングは、kibanaのdev toolsで取得してみると、こうなっています。

GET documents/_mapping

パイプラインの設定

 _client.PutPipeline("attachments", p => p
    .Description("Document attachment pipeline")
    .Processors(pr => pr
        .Attachment<Document>(a => a
            .Field(f => f.Content)
            .TargetField(f => f.Attachment)
            .IndexedCharacters(-1)
        )
        .Remove<Document>(r => r
            .Field(f => f.Content)
        )
    )
);

ファイルの登録

登録時に先に登録したattachmentsパイプラインを指定することで、ingest-attachmentによりContentに設定したBaseにエンコードされたファイルの中身からテキストやメタデータの抽出が行われ、Attachmentとして格納される、ということになるようです。

//contentはbyte[]
var base64File = Convert.ToBase64String(content);
var res = _client.Index(new Document
{
    Id = 1,
    Path = "あいうえお/かきくけこ/さしすせそ.docx",
    Content = base64File
}, i => i.Pipeline("attachments"));

Console.WriteLine(res.DebugInformation);

登録の結果確認

３つのファイルを登録してみました。

WIkiLeaksのPDF CIA report into shoring up Afghan war support in
Western Europe
東京都教育委員会発行のPDF 児童・生徒質問紙調査、学校質問紙調査の結果から
文部科学省が出しているExcel　「諸外国の教育統計」平成26（2014）年版

Program.csでAddAttachmentとしている部分が該当します。

sample.CreateMapping()
    .PutPipeline()
    .AddAttachment(1, new Uri(@"https://file.wikileaks.org/file/cia-afghanistan.pdf"))
    .AddAttachment(2, new Uri(@"http://www.kyoiku.metro.tokyo.jp/press/2016/pr161110b/besshi2.pdf"))
    .AddAttachment(3, new Uri(@"http://www.mext.go.jp/b_menu/toukei/data/syogaikoku/__icsFiles/afieldfile/2015/07/17/1352615_01_1.xlsx"))
;

Program.csを実行してインデックスの作成からデータの登録までを行います。

WikiLeaksのPDFの確認

GET documents/document/1

PDFからauthor, language, content（本文), titleが抽出され格納されていることが確認できます。

東京都教育委員会発行のPDF

GET documents/document/2

先ほどと同様にtitleやauthorは正しそうに見えますが、languageがltになっています。リトアニア語になっています。

文部科学省が出しているExcel

GET documents/document/3

今度こそリトアニア語ではなく、jaと判定されることを望むも・・・ダメっ！
中身の言語判定は、languageではなく、DetectLanguageを見るのが良いようです。
ただし、Nestのコメントを見る限り、デフォルトではdisableとなっているため、null値となるようです。

/// Detect the language of the attachment. Language detection is
/// disabled by default.

POCOへのマッピングの確認

検索結果がDocumentに入ることを確認します。

//Documentの取得
var result = sample.GetDocument(2);
//ファイルの情報を表示してみる
Console.WriteLine($"Author = {result.Attachment.Author} / Content = {result.Attachment.Content}");

Debug実行して、適当にとめてやると、Documentの下でAttachmentに値が格納されていることが確認できます。

まとめ

ingest-attachmentを使うと、ファイルの中身を送り付けるだけでテキスト抽出、メタデータの抽出ができることがわかりました。

自分だけのオリジナルの属性や処理の追加も、pipelineの仕組みやNestを使うことで出来そうな予感です。

疑問点

Nestで検索したをDocumentに格納してくれるはずなのだけども、Titleフィールドの値が抜けてしまっている。
AuthorやContent、languageといった値はしっかり入っているのに。

投げたリクエストとレスポンスを出力していて、返されたjsonにTitleが含まれていることは確認できるのに、Document.Attachment.Titleの値はNull。