KafkaとElasticSearchの連携を試しました。
前回の記事では、Alibaba Cloud E-MapReduceを利用したApache KafkaとApache Spark Streamingの統合方法を紹介しました。今回の記事は、引き続き...
1
0
Comment0
19 search resultsShowing 1~19 results
Stocked
You need to log-in
サーバーレスWeb APIを作ってみよう
API GatawayとFunction Computeと連携して、どのようにサーバーレス構成のWebサービスを作るのかをステップバイステップでこの記事でまとめたいと思います。 ロジックは非常に...
1
1
Comment0
Alibaba Cloud IoT Platformのデータ可視化について
データ分析と言えば、SQL構文でデータの集約やテーブルの結合などのイメージが多いではないでしょうか。実は、データの可視化も一つの強力な手段だと。特にIoT企業において、全てのデバイスはどこにある...
0
0
Comment0
LogServiceを用いてMySQLバイナリログを収集する
RDSリカバリーに大事なバイナリログをLogServiceでどのように収集するのかにご関心をお持ちの方がいるかと思い、今回の記事はRDSバイナリログの収集について、紹介したいと思います。 実現手...
0
0
Comment0
データサイエンスコンペ TianChiに挑む！(実践編)
前回TianChiの紹介編の話をさせて頂きましたが、今回は実際のコンぺを交えながら、データのダウンロード・前処理・訓練・予測・提出までの一連の流れをご紹介させて頂きたいと思います。 コンテストの...
0
0
Comment0
E-MapReduceでSpark MLlibを実装する
今回は、Sparkの機械学習ライブラリであるMLlibを使って、Alibaba CloudのE-MapReduceでどのように実装して、機械学習を行うのかを見てみましょう。 前提 EMR-3.1...
0
0
Comment0
E-Mapreduceでデータの前処理を実践
データセットの前処理と言えば、オープンソースのPandasでDataframeとSeriesを操作するのが一般的ですが、データのサイズが大きいほど、大量のデータを読み込もうとすると、メモリ不足で...
0
0
Comment0
HorovodでTensorflowの分散トレーニングについて
最新のディープラーニング モデルのトレーニングには、多くの場合、GPU によって提供される大量の計算が必要です。1 つの GPU から多くの GPU へのスケーリングにより、トレーニングと研究の...
1
1
Comment0
KafkaとSpark Streamingの統合について
Webアクセス解析や、ログのリアルタイムモニタリングと不正検知、ソーシャルメディア分析などの時に、オープンソースの分散ストリーミングプラットフォームと呼ばれるApache KafkaとSpark...
1
0
Comment0
Apache FlumeとSpark Streamingの統合について
Web Serverのアクセスログをリアルタイムストリーミング分析するというのはよくある利用シーンだと想定されます。今回の記事は、Apache Flumeと呼ばれるログ収集基盤とE-MapRed...
0
0
Comment0
Sqoopを用いてE-MapReduceにデータを取り込む
既存のSQLテーブルに蓄積された情報をHadoopにインポートするため、Sqoopと呼ばれるツールがよく使われています。今回の記事は、E-MapReduceのHadoopクラスターとRDSまたは...
0
0
Comment0
E-MapReduceでHiveの動的パーティションについて
Alibaba CloudのE-MapReduceを利用し、SELECT文の実行は、テーブルに含まれる全データをスキャンします。WHERE句を指定し、特定の条件に合致するデータを抽出する場合、大...
0
0
Comment0
MaxComputeでJSONデータの扱い方
まだご存じの方が少ないかと思いますが、Alibaba Cloud DataWorks 2.0には、JSONデータへのサポートが強化され、JSONドキュメントの処理及び分析が楽となります。IoTや...
1
0
Comment0
E-MapReduceでMapReduceジョブを実行する
先日E-MapReduceのMetaServiceをご紹介致しましたが、今回引き続きMetaServiceを利用しつつ、E-MapReduceでMapReduceジョブの実行方法をご紹介させて頂...
0
0
Comment0
データサイエンスコンペ TianChiに挑む！(PyODPSでデータ処理編)
以前TianChiの紹介編と実践編をご紹介させて頂きましたが、今回TianChiシリーズの最終編（データ処理）に関して、まとめていきたいと思います。 データセットの前処理と言えば、オープンソース...
0
0
Comment0
E-MapReduceのMetaServiceについて
今回の記事はアリババクラウドのビッグデータ処理サービスE-MapReduceについて、触れさせていただきたいと思います。 E-MapReduceは2.1.0 versionから、MetaServ...
0
0
Comment0
MaxCompute SQLでデータ更新と削除する方法
既にご存じの方もいらっしゃると思いますが、MaxCompute SQLでは、データ更新(Update)と削除(Delete)をサポートしません。ただ、実際の業務の中で必要なケースも存在しています...
0
0
Comment0
PAIでプログラミング不要の機械学習を試す！
最近PAIでの深層学習などの投稿が増えてきました、ご覧頂いていますでしょうか。それとは別に、伝統的な機械学習の場合ではどうなりますでしょうか。今回の記事は伝統的な機械学習に焦点を絞り、PAIでの...
1
1
Comment0
データサイエンスコンペ TianChiに挑む！(紹介編)
こんにちは。データサイエンティストのコンペティションとよばれるTianChiに自分が挑んでみたので、それについて全3回でご紹介していきます。 TianChi(天池)とは？ Alibabaが201...
0
1
Comment0
19 search resultsShowing 1~19 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles