curlコマンドでDatabricksのJobをコールする
こんにちは、ちゅらデータshinyashikiです。 この記事は ちゅらデータアドベントカレンダー 21日目の記事となります。 やりたいこと Databricksでは作成したジョブをREST A...
2
1
Comment0
33 search resultsShowing 1~20 results
Stocked
You need to log-in
rails環境構築（CentOS + ruby on rails）
1.gitインストール $ yum install git 2.パッケージインストール $ yum install gcc-c++ glibc-headers openssl-devel rea...
211
212
Comment5
Databricksでフォルダ名やNotebook名に日本語を使うと困る場合がある
先に結論 フォルダ名やNotebook名に日本語を使用した場合、dbutils.notebook.run を使って他のNotebookを呼ぶとエラーになるケースがある どういうことか 次のような...
4
0
Comment0
DatabricksのNotebookの単体テストを行う
はじめに 以下のNotebookの単体テストを行います MyNotebook def hoge(i): return 'hoge'*i def fuga(i): return 'fuga'*i ...
3
2
Comment0
HiveでArray型のJSONとString型のJSONのあつかい方の違いを確認する
ケース①データタイプが「Array型」のJSONをあつかう場合 次のようなテーブルがあります 0: jdbc:hive2://localhost:10000> desc array_jso...
2
1
Comment0
AWS Glue コンソールを使用してワークフローのジョブを変更する
はじめに 以下のようなワークフローがあります このうち、job02をjob22に変更してみます。 ジョブの変更 １）変更対象となる旧ジョブ（job02）のトリガー元（trigger01）を選択、...
2
1
Comment0
Elasticsearchのスナップショット環境構築メモ
はじめに 備忘録としてElasticsearchのスナップショット環境構築メモ 環境 以下のサーバ環境において、スナップショットをとっておきたい OS: CentOS6 Elasticsearc...
2
3
Comment0
rails + nginx + unicorn連携
1.サンプルアプリ作成 railsサンプルアプリの作成については以下参照 rails環境構築（CentOS + ruby on rails） 2.nginxインストール ####### リポジト...
123
118
Comment1
ミドルウェアにおけるOSリソースの有効活用 メモリ・ディスク編
はじめに これまでデータベースや検索エンジンといったミドルウェアをチューニングする機会にたびたび遭遇してきました。 どのようなポイントでチューニングをすれば良いのかを理解するには、ミドルウェアの...
3
3
Comment2
【勉強会メモ】Search Engineering Tech Talk 2019 Summer
はじめに 先日 検索技術勉強会 に参加しました。 その際個人的に印象に残った点をまとめます。 イベント概要 Search Engineering Tech Talk 2019 Summer 検索...
4
1
Comment0
【勉強会メモ】オープンソースで実現するログ分析技術入門
はじめに 先日 ログ分析技術に関する勉強会 に参加しました。 その際個人的に印象に残った点をまとめます。 イベント概要 オープンソースで実現するログ分析技術入門 オープンソースで実現するリアルタ...
4
2
Comment0
（手っ取り早くDockerが使えるようになるための）Docker入門
はじめに 当記事は、手っ取り早くDockerが使えるようになるための記事となります。 具体的には、 Dockerについてざっくりと理解して 簡単な環境を構築し 作った環境をDocker Hubで...
11
8
Comment0
【勉強会メモ】Search Engineering Tech Talk 2019 Spring
はじめに 先日 検索技術勉強会 に参加しました。 その際個人的に印象に残った点をまとめます。 イベント概要 Search Engineering Tech Talk 2019 Spring 検索...
2
2
Comment0
ElasticsearchのSynonym Token Filterを使って類義語の検索と集計をしたい その２
はじめに ElasticsearchのSynonym Token Filterを使って類義語の検索と集計をしたい その１ のつづきとなります。 2. 類義語集計 検証③ まずは、単純に類義語検索...
6
2
Comment0
ElasticsearchのSynonym Token Filterを使って類義語の検索と集計をしたい その１
はじめに 個人用に考えを整理するためにまとめました。 他に良い実現方法があるかと思いますが、その場合はご指摘をいただけると大変ありがたいです。 当記事は２部構成になっています。 Elastics...
23
15
Comment0
書籍「改訂新版-内部構造から学ぶPostgreSQL-設計・運用計画の鉄則」のまとめ - 理論編
はじめに ここ最近、環境構築や障害調査、他RDBへの移行といった作業を行う中で、データベース内部の仕組みについて一度じっくりと学ぶ必要があるなと感じました。 色々とネットで調べたところ、Post...
18
15
Comment0
ある項目が同じレコードを一つのレコードとしてまとめる
したいこと MySQL5.6にて、以下のようなレコードを、 mysql> SELECT * FROM sample; +------+--------+--------+ | id |...
0
0
Comment0
expectコマンドを使用してpg_dumpのパスワード入力を自動化する
はじめに 環境は以下のとおり Centos6.7 PostgreSQL9.4.6 やりたいこと 以下のPostgreSQLのダンプ処理をシェルで実行させたい。 sudo pg_dump -a -...
0
0
Comment0
EmbulkでMySQLに大量データを投入してみる - その１
したいこと Embulkを利用して大量データ（CSV）をMySQLに投入する 1. 準備 Quick Startを参考にEmbulkの導入 インストール $ curl --create-dirs...
28
29
Comment0
SpringとMyBatisを使ってデータベースが作成された契機でコネクションを発行したい
したいこと 各サーバにMySQLがあり、アプリからそれぞれにアクセスする static_db（10.0.0.101:3306） アプリ起動時にコネクションをプールしておく dynamic_db（...
1
2
Comment0
33 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles