SORACOM API + Jupyter notebookでネットワーク利用状況の分析
ど〜もみなさん、おはこんばんにちは（言ってみたかった）。SORACOMの中の人の@imai_factoryです。 SORACOM Advent Calendar 2017の12/18分の記事です...
18
4
Comment0
31 search resultsShowing 1~20 results
Stocked
You need to log-in
IntelliJのDockerインテグレーションを使う
前提 環境はMac。boot2dockerが入っているものとする 手順 IntelliJにDockerプラグインを入れる DockerHost等の設定 Run/Debug Configurati...
23
24
Comment0
big data updates 2017/1/4
新年一発目のHadoop Weeklyをざーっと読んでのひととおりのメモ。 https://hadoopweekly.com/Hadoop-Weekly-198.html Databricksの...
2
1
Comment0
Zeppelin + Spark + Hive LLAP
この文章について このポストは、先日HadoopとS3というタイトルで書いた下記のようなアーキテクチャを作るにあたってのZeppelin + Spark + LLAPまわりの調査と検証状況を自分...
2
2
Comment1
HadoopとS3
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplicat...
64
32
Comment0
Amazon LinuxでDocker版のHDP Sandboxを立てるTIPS
HDPのサンドボックスのコンテナは13GBあるので、Dockerコンテナのストレージサイズのデフォルト値である10GBだと足りない。なのでDockerのコンフィグファイル/etc/sysconf...
0
0
Comment0
Apache Metron
今日は前からちょっと気になっていたApache Metronというプロジェクトについて書いてみようと思います。セキュリティ関連のツール群のかたまりみたいなもので、Hortonworksがテックプ...
16
11
Comment0
Apache Zeppelinにチームで利用するためのセキュリティ設定
Zeppelinにセキュリティを導入したい背景 Amazon EMR上 のZeppelinにガチャガチャとダッシュボードを作ったのでいざチームのみんなに見てもらえるようにしようと思ったのが背景。...
5
0
Comment0
YARN queue ACL for Spark
昨日書いたSpark and YARNで、下記のようなことを書いたので少し検証してみた。 YARNで強化するSparkのセキュリティ対策 Spark自体が提供するセキュリティ対策のほかに、YAR...
9
8
Comment0
Spark and YARN
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(...
56
51
Comment0
S3バケットに対して別のAWSアカウントからのアクセスを許可する
この投稿は個人的な意見/メモであり、会社を代表するものではありません。 -- 対象バケットのバケットポリシーを編集 Edit bucket policyのボタンを押す JSONで記述したポリシー...
19
18
Comment0
Amazon EMRのCLIスニペット集
このポストは個人のメモであり、私の所属する組織を代表するものではありません。 概要 EMRのスニペット、いつも同じようなものを書いてしまうのでここにまとめていくことにする。 SparkとPres...
11
11
Comment0
IntelliJでScalaのSparkアプリケーションの開発環境を作る
How to kick-start Spark development on IntelliJ IDEA in 4 stepsを参考に開発環境を作ったのでメモ おおまかな手順 sbt管理なプロジ...
33
37
Comment1
Getting Started with SparkSQL on Amazon EMR
こちら(Apache Spark on Amazon EMR)にあるようにめでたくEMRでSparkがサポートされたので、ちょっとGetting Started with Spark的な話を書こ...
14
15
Comment1
AWS Data Pipelineをスケジューラとして使う
AWS Data Pipeline。名前からするとETLやデータの移動のために使われるイメージが強いんだけど、実はCronぽいスケジューラとしても使えるので、ポイントをまとめておく。 方針は単純...
60
55
Comment0
HDFS NameNodeの利用ディスク容量肥大の対処(Amazon EMRのケース)
課題 EMRの単一のクラスタを長い期間運用していると/mnt/var/lib/hadoop/dfs-name/currentが肥大してくるケースがある。EMR(Hadoop2.4.xの場合)では...
5
3
Comment0
Amazon S3へアップロードされたファイルの完全性の検証
サマリ S3へのファイルアップロードをしたあとに、そのファイルの正当性を確認したいというケースはよくあるのだろう。恥ずかしながらちゃんとやったことなかったけど。 ということでどうやって実現するの...
39
34
Comment0
DynamoDBをロックマネージャーとして使う
このポストは個人の意見/メモであり、私が所属する会社を代表するものではありません。 DynamoDBのConditional Update DynamoDBには Conditional Upda...
57
55
Comment0
Hive on EMRで手っ取り早くTezを使う
サマリ 社内でTezのデモを見たんだけど、非常に使い始めが簡単で、しかもクエリ高速化の効果がかなり高いので使い方をまとめておく。手順的にはビルド済みのTezをEMRのBootstrap acti...
17
16
Comment0
最新のAmazon Linux AMIのIDを取得する
CLIからEC2を起動!みたいなときに「えーっと、最新のAmazon LinuxのAMIのIDってどれだっけ・・・？」みたいな感じにManagement Consoleを覗くのはアレだよね。 と...
3
3
Comment0
31 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles