Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 執筆時点で最新版であ...
403
349
Comment7
41 search resultsShowing 1~20 results
Stocked
You need to log-in
特定の文字列を含む行のみを対象に、大文字を小文字に変換するテクニック
特定の文字列を含む行だけ、大文字を小文字にしたいとき、エディタで行うのは非効率です。 そんなとき、sedが便利です。macの場合にはGNU版を入れてからgsedコマンドを呼び出します。 GNU版...
0
0
Comment0
embulk-input-postgresqlでPostgreSQL v14を使いたいときのJDBC Driverと設定方法
PostgreSQL 14より、新しい認証方式が使われるようになりました。それに対応したv42以上のJDBCドライバを使っていないと、互換性の問題が発生します。 embulk-input-pos...
4
0
Comment0
MySQLで6桁までの小数点を丸めずに扱うならDouble型かDecimal型を使うべき理由
目的 丸め誤差を発生させずに、入力された10進数の小数部をMySQLに格納したい。 データの桁数を揃えること無くそのまま保管して、入出力の同一性テストにパスしたい。 結論 当初は入出力の結果が同...
127
115
Comment6
embulk-input-mysqlでのSSL通信にCommunications link failureが出た時の対処法
経緯 ある時期からSSLExceptionを見かけるようになり、何か対処が必要そうだと思い始める インスタンスローテーションのため、インスタンス再作成を行った後からエラーが発生し接続不可となった...
2
1
Comment0
RDS for Postgresql での ERROR: canceling statement due to statement timeout の対処法
embulk-input-postgresql を用いたデータ吸い出しを行うときに ERROR: canceling statement due to statement timeout という...
1
1
Comment0
有効期限切れのルート証明書ファイルにより、SSL通信に失敗する際の対処法
PHPからSSL通信しようとしたところ、SSL operation failed with code 40. OpenSSL Error messages: not in error state...
20
19
Comment2
分散SQLエンジン“Presto”のクエリチューニング
Prestoを利用し始めましたので、クエリのチューニング話も行いたいと思います。 SELECT句のチューニング SELECT * FROM ...は大変遅いので、データがあるかを確認する用途なら...
94
77
Comment0
embulkのインストール・アップデート方法
並列データのバッチ処理ツール「embulk」の手軽なインストール・アップデート方法をまとめました。 公式とは少し違いますが、次の要望に応えられるインストール方法です。 インストールにroot権限...
15
15
Comment2
無料となったGoogle Earth Proでジオコーディングが捗る話
年額399ドルだったGoogle Earth プロが無料で使えるようになりました。 主な特長 Google Earth プロについてによると、これまでのFreeと異なり、次のことができるようです...
28
26
Comment0
Hiveクエリでハマりやすいエラーの処方箋
HIVEクエリを書いていてハマったエラーと、その対処法を記載していきます。 WINDOW関数で集計範囲が異なる時のエラー ROWS BETWEENかの指定が異なる物が混じってるときに発生するエラ...
1
1
Comment0
td import:auto コマンドを使うときに気をつけたいこと
TreasureDataを操作するコマンドラインツールに「tdコマンド」があります。 これを使うとデータベースの操作、クエリの実行や結果のエクスポートや、バルクインポートなどが捗ります。 htt...
7
6
Comment0
小腹の空いた社員が喜ぶ福利厚生まとめ 東京編
身の回りのIT系企業では社員の定着や業務効率を上げるため、さまざまな福利厚生の提供が行われています。 しかしながら、具体的にどこの何を使っているのかは各種事情もあり、あまりオープンになっていない...
4
4
Comment0
FluentdでApacheのエラーログを収集する正規表現
Apache のエラーログを in_tail プラグインで収集する設定サンプルを紹介します。 fluent.conf (td-agent.conf) fluentd < v0.10.53 ...
21
22
Comment0
文字列の表記揺れをUnicode正規化で簡単に解決する方法
ユニコード正規化をすると、半角英数字や機種依存文字などの表記が統一できます。 表記ブレが吸収されることで検索性が高まったり、データの比較なども行いやすくなります。 正規化の手法にはNFD, NF...
200
162
Comment4
MySQLに緯度経度を保存する際の、カラム型の選び方
はじめに 数値を丸められること無く、記録したとおりに緯度経度情報を保存したい。 もちろん文字列型ではなく浮動小数点型を使う方が処理効率が良いですよね。 どのようなカラムを使えば意図通りに保存出来...
219
190
Comment1
Rubyで文字化けせずに全角英数字を半角英数字に変換する方法
RubyでUTF-8文字列の全角英数字の表記揺れを統一したいとき、 気をつけないと希に文字化けする事象を見つけたのでメモします。 NKFを用いて全角英数字→半角英数字に変換する方法 ググるとよく...
13
14
Comment2
embulkで機種依存文字が使われたcsvファイル取り込む方法
【お知らせ】embulk v0.6.2以降からこの対応は不要となりました 次の手順を参考にアップデートしましょう！ embulkのインストール・アップデート方法 - Qiita http://q...
7
6
Comment2
「R」をbrewでOSX 10.9 Mavericksにインストールしても動かない時のTips
次のエラーでRが動かない時の処方箋を紹介します。 $ R dyld: Library not loaded: /usr/local/lib/gcc/x86_64-apple-darwin13.4...
7
7
Comment0
マスタ情報を持つMySQLテーブルをTreasureDataへ簡単に転送する方法
データ解析には、マスタ情報（商品マスタ/会員マスタなど）が必要になるケースもあります。 そのとき、様々なデータソースからTreasureDataへレコードを一括投入できる、td import:a...
10
10
Comment0
41 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles