SudachiPy にて未知語を判定する
Sudachi はUniDic品詞体系なので、品詞として未知語は存在しません。 SudachiPy を利用して形態素解析を行う場合、未知語を判定したい場合があります。 手元の環境は以下になります...
0
0
Comment0
25 search resultsShowing 1~20 results
Stocked
You need to log-in
Ubuntu 20.04 に KH Coder を、ほぼ apt-get install のみでインストールする
従来のインストール方法だと個別にインストールするものが多く大変でしたが、オフィシャルアカウント様のアドバイスのおかげで、かなり簡単にインストールできました。 併せて、mecab の辞書として m...
6
2
Comment0
Elasticsearch 7.2.1 で Wildcard query を使って前方一致検索を行う際に、検索文字列に対して正規化を行う
Elasticsearch で前方一致検索を行う際に、検索文字列に正規化を行いたい時があります。 その場合、検索を実行するアプリケーション側で正規化を行うこともできますが、Elasticsear...
5
6
Comment0
Elasticsearch 7.2.1 で join datatype を使って親子関係を実現した際に、子データが無い親を検索する
Elasticsearch で親子関係のデータをインデクシングした際に、子データが無い親のデータを検索したい時があります。 手元の環境は以下になります。 Ubuntu 18.04 LTS Ela...
0
0
Comment0
td-client-python でエンドポイントを指定した場合に、SSL接続でクエリを実行する
Python3 で td-client-python を使う際に、エンドポイントがデフォルトではない場合があります。 その場合は以下のようにエンドポイントを指定する必要があります。 例えば TD...
0
1
Comment2
Treasure Data の Custom Scripts で任意のライブラリを読み込む
Custom Scripts で未インストールのライブラリを使いたい場合のメモです。 例えば、以下のようにファイルが配置されている時、 ├ py_scripts │ └ sample.py └ ...
3
2
Comment0
td-client-python を使って CREATE TABLE を実行する場合の注意点
Python3 で td-client-python のクエリ実行機能を使ってテーブル作成を行う場合、以下のような書き方だとテーブルは作成されません。 job = client.query('s...
1
1
Comment0
Treasure Workflow（Digdag）で SQL クエリに変数を使う
Treasure Workflow で SQL に変数を使いたい場合のメモです。 手元の環境は以下になります。 Ubuntu 18.04 LTS td-agent 1.3.3 まず、以下のように...
3
1
Comment0
Treasure Data にて Presto のクエリに NOW() を使う
Presto で NOW() を使いたい場合のメモです。 手元の環境は以下になります。 Ubuntu 18.04 LTS td-agent 1.3.3 以下のように VARCHAR に CAST...
3
2
Comment2
Xonsh のスクリプトで ssh の config を読み込んで、選択した番号のサーバーに接続する
作業環境が Windows から Mac に変更になり ssh クライアントをどうしようかと考えてました。 前は MobaXterm を使っていて接続先を保存しておけば何回かクリックしただけでト...
0
0
Comment0
Elasticsearch 6.2.0 で More Like This Query を利用する際のパラメータについてまとめた
Elasticsearch で More Like This Query を使って類似文書検索を行う際に設定できるパラメータについて調べてみました。 内容としては以下のドキュメントをまとめたもの...
13
7
Comment0
Xonsh のスクリプトで mecab-ipadic-neologd の辞書を更新し、前回との差分を出力する
オープンソースで公開されて継続的にメンテナンスされている辞書がある、というのを技術職以外の方と話すことがあります。 そうすると「どれくらいの頻度で更新されてるの？」とか「最近だと、どんな単語が追...
4
4
Comment0
Elasticsearch 6.2.4 で More Like This Query を利用する際にデータを絞り込む
Elasticsearch で More Like This Query を利用して類似文書検索を行う際に、データを絞り込む必要があった場合の方法になります。 More Like This Qu...
0
2
Comment0
moto を使って boto3 と Amazon SES を利用したスクリプトのテストコードを書く方法
moto という AWS サービス向けのモックツールがあり、SES を利用したスクリプトのテストも行えたので、その手順を共有します。 手元の環境は以下になります。 Ubuntu 16.04 LT...
2
1
Comment0
sshtunnel で Paramiko のエラーが出た場合の対処法
Python3 で sshtunnel を使って接続する場合、以下のようなエラーが出ることがあります。 ERROR | Unknown exception: p must be exactl...
0
0
Comment0
Elasticsearch 6.2.4 で join datatype を使って親子関係（旧 Parent-Child ）のデータをインデクシングする
Elasticsearch で親子関係のデータをインデクシングして検索します。 内容としては以下のドキュメントをまとめたものになります。 join datatype 手元の環境は以下になります。...
15
6
Comment0
Elasticsearch 6.2.3 で Ingest Attachment Processor Plugin を使って添付ファイルをインデクシングする
Elasticsearch に文書に紐付いた添付ファイルをインデクシングしたい場合の設定を行います。 内容としては以下のドキュメントをまとめたものになります。 Ingest Attachment...
9
6
Comment0
Elasticsearch 6.2.3 で インストール済みプラグインのリストを確認する
Elasticsearch を使っていてどんなプラグインを入れたか確認したくなった際のコマンドになります。 内容としては以下のドキュメントから抜粋してまとめたものになります。 Listing, ...
2
1
Comment0
elasticsearch-sudachi で sudachi.json や system_full.dic が読み込まれない場合の対処法
elasticsearch-sudachi をインストールしてインデックスを作る際に以下のように指定しますが、 curl -X PUT 'localhost:9200/shop' -H 'Con...
4
1
Comment0
Ubuntu 16.04 で python3.6-dev のインストールに失敗する場合の対処法
Ubuntu 16.04 で python3.6-dev のインストールが必要になった際、以下のようにエラーになることがあります。 $ sudo apt-get install python3....
4
3
Comment0
25 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles