先日、経済産業省から「IMIコンポーネントツール」というものが公開されました。
IMIコンポーネントツール
https://info.gbiz.go.jp/tools/imi_tools/
今回、この中の「(1) 住所変換コンポーネント」をいろいろ使ってみたので、そのことについて投稿したいと思います。
住所変換コンポーネントについて、以下のブログで詳しく解説されています。
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！
住所変換コンポーネントは、簡単に言うとあいまいな住所表記を正規化してくれるツールと理解しています。
私は個人でLinked Open Addresses Japan(以下、住所LODと呼びます)という住所データをLinked Open Dataで公開するサイトを運営しています。
住所LODについて、以下のQiitaの投稿を参照してください。
緯度経度付き住所LODを作りました
https://qiita.com/uedayou/items/b6be807d36526593b4da
このサイトでも住所の正規化をしていますが、残念ながら不完全なもので、文字列としての住所からこの住所LODの当該住所のURLを取得しようとすると失敗してしまうことが多々ありました。
そこで、このIMIコンポーネントツールの住所変換コンポーネントで、さまざまな住所でどの程度、住所LODのURLが取得可能か試してみました。
使用する住所
ちょうど(※)、DBpedia日本語版から取得した1万件ほどの住所(計10121件)を住所LODのURLに変換しようとしていましたので、このデータを使うことにしました。DBpediaのデータは、Wikipediaの編集データが元になっていますので、その多くが人手での入力であると思います。そのため住所の表記にもゆれが比較的あるデータになります。
※ 追記
以下の住所は、緯度経度付き鉄道オープンデータ提供サイト公開しました で紹介している鉄道駅LODでに使用するためにDBpediaから取得した住所になります。なので、日本全国の鉄道駅の住所です。
都道府県別の変換対象住所数は以下のようになります(上位30件)。
|都道府県|件数|都道府県|件数|都道府県|件数|
|---|---|---|---|---|---|---|---|
|東京都| 870|大阪府| 572|北海道| 555|
|愛知県| 533|兵庫県| 422|神奈川県| 402
千葉県|384|福岡県| 381|長野県| 271
広島県| 263|京都府| 256|埼玉県| 255
三重県| 250|静岡県| 234|新潟県| 225
富山県| 201|福島県| 197|岐阜県| 195
岩手県| 194|宮城県| 185|岡山県| 178
高知県| 174|熊本県| 169|山口県| 168
青森県| 160|愛媛県| 156|秋田県| 153
群馬県| 150|奈良県| 141|茨城県| 136
住所変換コンポーネントで住所LODのURLを取得するスクリプト
変換に使用したスクリプト(node)は以下のようなものです。
const fs = require('fs');
const axios = require('axios');
const convert = require('imi-enrichment-address');
const getLoaUri = async (adr) => {
const url = "http://uedayou.net/loa/"+encodeURI(adr);
try {
const res = await axios.get(url);
return res.request.res.responseUrl;
} catch (e) {
console.error(`${e.response.status}: ${e.response.statusText}`);
}
};
const getAddress = async (str) => {
const jsonld = await convert(str);
const obj = jsonld['住所'];
let metadata, address;
if ('メタデータ' in jsonld) {
metadata = jsonld['メタデータ']['説明'];
console.log(`説明: ${jsonld['メタデータ']['説明']}`);
}
if ('都道府県' in obj) {
address = obj['都道府県']+(obj['市区町村']||"")
+(obj['区']||"")+(obj['町名']||"")
+(obj['丁目']?obj['丁目']+"丁目":"")
+(obj['番地']?obj['番地']+"番地":"")
+(obj['号']||"");
}
return {metadata,address};
};
(async()=>{
const address = "霞が関2";
console.log(`入力: ${address}`);
const norm = await getAddress(address);
console.log(`正規化: ${norm.address}`);
if (norm.address) {
const uri = await getLoaUri(norm.address);
console.log(`住所LOD: ${decodeURIComponent(uri)}`);
}
})();
スクリプトを動かすには axios と imi-enrichment-address をインストールする必要があります。
npm install axios
npm install https://info.gbiz.go.jp/tools/imi_tools/resource/imi-enrichment-address/imi-enrichment-address-2.0.0.tgz
node index.jsで実行すると以下のように住所「霞が関2」が正規化され、住所LODのURLを取得します。
入力: 霞が関2
正規化: 東京都千代田区霞が関2丁目
住所LOD: http://uedayou.net/loa/東京都千代田区霞が関二丁目
正規化・住所LOD URL取得精度
10121件の住所について、どれくらい正規化、住所LODのURLが取得できたかを集計しました。
|件数|適合率
---|---|---
正規化|9554|94.4%
URL変換|6750|70.7%
※URL変換の割合の分母は正規化に成功した数(9554)です。
住所変換コンポーネントでの正規化についてはかなり高い割合で成功しました。また、その正規化したデータから70% 住所LODのURLが取得できました。
住所変換コンポーネントによる正規化をせずに住所LODのURL取得をした結果と比較すると
|件数
---|---
URL変換
(正規化あり)|6750
URL変換
(正規化なし)|4880
と正規化により、これまで失敗していた住所もたくさんURL取得できできるようになったことがわかりました。
住所変換コンポーネントで正規化すると、その住所の位置情報(緯度経度)も付与されます。どの程度付与されるかも調べてみました。
|件数
---|---
正規化|9554
位置情報|9302
正規化された住所のほとんどに位置情報が付与されましたが、ごく一部付与されないものもありました。
最後に住所の正規化でのエラーメッセージをまとめました。
| エラーメッセージ | 件数 |
|---|---|
| 該当する町名が見つかりません | 467 |
| 該当する地名が見つかりません | 38 |
| 該当する市区町村名が見つかりません | 31 |
| 該当する丁目が見つかりません | 21 |
| 該当する地名が複数あります | 6 |
| 地名コードに対応するインスタンスがありません | 4 |
正規化・URL取得に失敗する場合
正規化できなかった住所の都道府県上位10件を集計しました。
| 都道府県 | 件数 | 適合率 |
|---|---|---|
| 北海道 | 162 | 29.2%(162/555) |
| 京都府 | 41 | 16.0%(41/256) |
| 愛知県 | 39 | 7.3%(39/533) |
| 奈良県 | 33 | 23.4%(33/141) |
| 大阪府 | 29 | 5.1%(29/572) |
| 岐阜県 | 26 | 13.3%(26/195) |
| 高知県 | 23 | 13.2%(23/174) |
| 長野県 | 23 | 8.5%(23/271) |
| 埼玉県 | 21 | 8.2%(21/255) |
| 福岡県 | 12 | 3.1%(12/381) |
| 愛媛県 | 11 | 7.1%(11/156) |
割合として、北海道、奈良、京都が比較的高い印象があります。京都は通り名がついた特殊な住所は正規化し難いことが影響しているのかも、と思いますが、北海道、奈良は詳細を見ないとよくわかりません。単純に書き間違いが多いのかもしれません。
住所LODのURL取得の失敗は以下の通りです。
| 都道府県 | 件数 |
|---|---|
| 北海道 | 272 |
| 長野県 | 171 |
| 青森県 | 135 |
| 福岡県 | 133 |
| 千葉県 | 111 |
| 岩手県 | 109 |
| 福島県 | 108 |
| 愛知県 | 108 |
| 新潟県 | 105 |
| 静岡県 | 101 |
| 三重県 | 96 |
正規化失敗より数が多くなっています。これは、住所LODは住所に「郡」を含めるのに対し、住所変換コンポーネントは郡を削除してしまうことが大きく、ランキングに大都市圏が少ない理由はそのあたりが影響しているようです。このあたりは住所LOD側での工夫が必要だと思います。
{
'@context': 'https://imi.go.jp/ns/core/context.jsonld',
'@type': '場所型',
'住所': {
'@type': '住所型',
'表記': '京都府相楽郡精華町精華台1',
'都道府県': '京都府',
'都道府県コード': 'http://data.e-stat.go.jp/lod/sac/C26000',
'市区町村': '精華町',
'市区町村コード': 'http://data.e-stat.go.jp/lod/sac/C26366',
'町名': '精華台',
'丁目': '1'
},
'地理座標': { '@type': '座標型', '緯度': '34.752484', '経度': '135.786199' }
}
IMI住所変換コンポーネントを使ってみて
人手で入力された住所について、そのほとんど(94%)が正規化に成功し、高い確率で位置情報の取得もできました。当初の目的の住所LODのURL取得についても取得割合を大きく向上できました。
少しコードがかければその扱いも比較的容易ですし、今後多方面で活用できるツールになるのかなと思いました。
住所LODにIMI住所変換コンポーネントを組み込んでみた
早速、住所LODの表記ゆれ修正部分に住所変換コンポーネントを組み込んでみました。
今までよりも少しだけレスポンスに時間がかかりますが、これまでNot Foundになっていた住所が住所LODの該当ページに転送できるようになりました。
例えば、「霞が関2」ではこれまでは、住所LODのページは見れませんでしたが、IMI住所変換コンポーネントにより、http://uedayou.net/loa/東京都千代田区霞が関二丁目 に転送されるようになりました。
