オントロジーのグラフデータベース化

はじめに

SUMO(Suggested Upper Merged Ontology) を neo4j に変換する。

SUMO

クラス・インスタンス階層や一階述語論理の機構を備えたオントロジー。kifという言語で記述されている。

(subclass Physical Entity)
(partition Physical Object Process)

以下のページの Download から zip ファイルでダウンロードする。

使用するgem

Rubyからneo4jを扱うライブラリとしてneographerやneo4jがあるが、neographerがいまいちよく分からなかったのでneo4jを使う。kifファイルをパースするためにsxpを使う。zipファイルを読むためにrubyzipを使う。

sudo gem install neo4j
sudo gem install sxp
sudo gem install rubyzip

kifファイルを読む

とりあえずkifファイルを読むモジュールを書く。
kifはS式の一種なので、S式の文字列を読んで配列にしてくれるsxpを使用する。

SXP.read '((subclass Cat Animal) (instance Tama Cat))'
=> [[:subclass, :Cat, :Animal], [:instance, :Tama, :Cat]]

コメント行の削除などの掃除をしてから、SXPに食わせる。

require 'sxp'

module KIF
	module_function
	def parse(file)
		doc = file.read.force_encoding('UTF-8')
		# BOM削除
		doc = doc[1..-1] if doc[0].ord == 65279
		# コメント削除
		_doc = ''
		comment = false
		quote = false
		doc.split(/(\\"|"|;|\n)/).each do |item|
			if comment
				comment = false if item == "\n"
			elsif quote
				quote = false if item == '"'
				_doc += item
			else
				comment = true if item == ';'
				quote = true if item == '"'
				_doc += ' ' if item == '"'  # ComputerInput.kif のバグ対策
				_doc += item unless comment
			end
		end
		# S式
		doc = '(' + _doc + ')'
		sxp = SXP.read(doc)
		return sxp
	end
end

zipファイルから読み込む

zipファイルを展開してから1ファイルずつ処理してもいいのだが、かさ張るのでzipファイルのまま読むことにする。

require 'zip'

class KIF::Archive
	def initialize(path)
		@path = path
	end
	def each
		Zip::File.open(@path) do |zip|
			zip.glob('sumo-master/*.kif').each do |entry|
				yield entry
			end
		end
	end
end

kifファイルのうち、WorldAirports.kif などは項目数は多いがほとんど使わないので除外する。

sumo = KIF::Archive.new('sumo-master.zip')
sumo.each do |entry|
	next if entry.name =~ /WorldAirports/
	sxp = entry.get_input_stream{|f| KIF.parse(f) }
end

neo4j に書き込む

neo4jに書き込むための writer クラスを定義。

require 'neo4j-core'

class Writer
	def create_index
		Neo4j::Label.create('class').create_index(:name)
		Neo4j::Label.create('instance').create_index(:name)
	end
	def write(sxp)
		@nodes ||= Hash.new
		sxp.each do |axiom|
			next if axiom.any?{|item| item.is_a? Array }
			predicate, *arguments = *axiom
			case predicate
			when :subclass
				target, source = *arguments
				source_label = 'class'
				target_label = 'class'
			when :instance
				target, source = *arguments
				source_label = 'class'
				target_label = 'instance'
			when :subrelation, :subAttribute
				target, source = *arguments
				source_label = 'instance'
				target_label = 'instance'
			when :domain, :domainSubclass
				source, order, target = *arguments
				source_label = 'instance'
				target_label = 'class'
			when :range, :rangeSubclass
				source, target = *arguments
				source_label = 'instance'
				target_label = 'class'
			end
			next unless source
			@nodes[source] ||= Neo4j::Node.create({name: source}, source_label)
			@nodes[target] ||= Neo4j::Node.create({name: target}, target_label)
			relation = @nodes[source].create_rel(predicate, @nodes[target])
			relation[:order] = order if order
		end
	end
end

create_indexはノードのname属性をインデックスにする設定のためのメソッド。writeがS式を受け取ってデータベースに書き込むメソッド。ここでは、kifから以下の式のみを取り出してデータベースに書き込んでいる。

(subclass target source)
(instance target source)
(subrelation target source)
(subAttribute target source)
(domain source order target)
(domainSubclass source order target)
(range source target)
(rangeSubclass source target)

domainというのは定義域のことで、要するに項の型を指定している。

(domain instance 1 Entity)
(domain instance 2 Class)

rangeというのは値域のことで、関数タイプの述語に対して返り値の型を指定する。

(range whereFn Region)

グラフデータベースは要素と要素を関係で結ぶので、基本的に(関係 要素 要素)という2項述語しか表現できない。domainとdomainSubclassは3項述語だが、order項をリレーションの属性とすることで表現している。

実行

WorldAirports.kif などは項目数ばかり多くてほとんど使わないので除外し、他のものをデータベースに書き込む。

sumo = KIF::Archive.new('sumo-master.zip')
session = Neo4j::Session.open(:server_db, 'http://localhost:7474', basic_auth: {username: 'myname', password: 'mypassword'})
writer = Writer.new
writer.create_index
sumo.each do |entry|
	STDERR.puts entry.name
	next unless entry.name !~ /WorldAirports/
	sxp = entry.get_input_stream{|f| KIF.parse(f) }
	writer.write sxp
end

ToDo

WordNetにはSUMOへのリンクが収録されており、日本語->WordNet->SUMOという経路で語義を引くことができるので、これもデータベースに登録する。とりあえずここまで。