コミュニケーションで気を付けていることをちょっとだけ
この記事は MicroAd (マイクロアド) Advent Calendar 2023 19日目の記事です。 今回は開発に必要なコミュニケーションを取る際に僕自身が気を付けていること、心掛けてい...
6
0
Comment0
8 search resultsShowing 1~8 results
Stocked
You need to log-in
HiveのARRAY、STRUCT型とNULLと空配列と
はじめに クエリエンジンとしてHiveを使用しています。 テストデータ作成等でARRAY、STRUCTなどのComplex型をNULLにしたいとき、そしてSTRUCT型のARRAYを空にしたいと...
6
1
Comment0
HDFS上に配置したcsv/tsvファイルのTimestampカラムを読み込む方法
前提 クエリエンジンとしてHiveを使用しています。 Timestamp型文字列のカラムを含んだcsv/tsvファイルをHDFS上に配置しテーブルに読み込んだのち、そのカラムを別テーブルに挿入す...
5
0
Comment0
複合主キーのテーブルをSqoopで並列転送する
はじめに この記事は MicroAd Advent Calendar 2020 22日目の記事です。 業務でApache Sqoopを使って複合主キーのテーブルを転送する際に工夫したことを記...
5
0
Comment0
時系列プロットはじめました〜python編〜
はじめに この記事はMicroAd Advent Calendar 2019の22日目の記事です。 やりたいこと ログデータを可視化するときに、時系列プロットは非常に有用な手段です。 今までは横...
19
8
Comment0
SQLで通し番号をつけたくなった
概要 タイトル通り、SQLでデータを成形する際に複数のカラムをkeyとして通し番号がつけたくなりました。 意外とすんなりできる方法が見つかったため、備忘録として残しておきます。 なお筆者は普段H...
6
0
Comment0
Frequency Encodingとハーフィンダール・ハーシュマン・インデックス(HHI)
概要 異常検知を勉強している中で、日本語解説の少ないEncoding手法が必要になったので自分なりにまとめておきます。 Frequency Encoding Frequency Encoding...
12
5
Comment0
scrapyでstart_urlsやrulesにコマンドライン引数を渡す
はじめに この記事はMicroAd Advent Calendar 2018の13日目の記事です。 自分が自然言語処理を行うためのデータを集めようとクローリング&スクレイピングしていた時...
10
1
Comment0
8 search resultsShowing 1~8 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles