Apache Tika

事情があって、各種ファイルからテキストから抜き出して、Solrに入れるという作業をすることになりました。
Solrにもファイルを渡して、解析をしてくれるI/Fがありますがタイミングをプログラムでコントロールしたかったので、Solrにやらせず文書登録機能からSolrをアップデートさせる方向で考えました。
どうせなら同じライブラリを使おうと思い、Apache LuceneのサブプロジェクトのApache Tikaを使うことにしたのですが、情報が少ないのでテストプログラムを書いてみました。

pom.xmlでの依存関係

pom.xml

		<dependency>
			<groupId>org.apache.tika</groupId>
			<artifactId>tika-core</artifactId>
			<version>1.5</version>
		</dependency>

		<dependency>
			<groupId>org.apache.tika</groupId>
			<artifactId>tika-parsers</artifactId>
			<version>1.5</version>
		</dependency>

Parseする場合にByteArrayInputStreamの形に変換する必要があるので、手っ取り早くやるために、Commons-IOを使うために以下も追加しました。

pom.xml

		<dependency>
			<groupId>commons-io</groupId>
			<artifactId>commons-io</artifactId>
			<version>2.4</version>
		</dependency>

例外処理を除いたコード片

実際にパースするだけであれば、簡単で、以下のコードで取得できます。分割しているのでJUnitコードをほとんど載せます。ファイルパスをタイプごとに管理しているMapの詳細は割愛します。

TikaTest.java

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.IOException;
import java.io.StringWriter;
import java.util.HashMap;
import java.util.Map;

import org.apache.commons.io.FileUtils;
import org.apache.tika.exception.TikaException;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.Parser;
import org.apache.tika.sax.WriteOutContentHandler;
import org.junit.Test;
import org.xml.sax.SAXException;

public class TIkaTest {

	@Test
	public void test() throws IOException, SAXException, TikaException {
		Parser parser = new AutoDetectParser();
		Metadata metadata = new Metadata();
		StringWriter writer = new StringWriter();

		ByteArrayInputStream bytes = getTestData("doc");
		
		parser.parse(bytes,
		             new WriteOutContentHandler(writer),
		             metadata,
		             new ParseContext());

		//このcontentが目的の文字列。Solrの形態素解析をおこなうフィールドに格納して、解析させる。
		String content = writer.toString();


	}
	
	
	private ByteArrayInputStream getTestData(String type) throws IOException{

		//ファイル種別をキーとして、テスト用のファイルパスを値とするMapからパスを取り出して、読み込む。		
		return read(TYPES.get(type));
		
	}
	
	private ByteArrayInputStream read(String path) throws IOException{

		File file = new File(path);

		return new ByteArrayInputStream(FileUtils.readFileToByteArray(file));
		
		
	}