HDFSの現状と今後 (その1)
まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache...
22
12
Comment1
24 search resultsShowing 1~20 results
Stocked
You need to log-in
Apache HadoopとJava 9 (その1)
概要 2017年5月にApache: Big Data North Americaで、Apache HadoopはJava 9に現状対応してないよー、あれもこれも大変、っていう話をしたときからど...
3
2
Comment1
Java9でsun.misc.Cleanerのpackageが移動してしまうことへの対処(Apache Hadoopの場合)
概要 JDK9では、JDK-8148117などによって、sun.misc.Cleanerがjdf.internal.ref.Cleanerに移動してしまった。JDK9だけで動かす前提なら単純にi...
1
2
Comment1
Bash on Ubuntu on Windowsから他サーバへのSSHが遅い問題を解決する
SSHしようとするといつも40秒くらい待たされていたが、-vvvオプションをつけたところ、Kerberos認証のタイムアウト待ちになっていることがわかった。/etc/sshd/ssh_confi...
1
6
Comment0
Apache Hadoop hadoop-openstack moduleのテストを回す
概要 記事: Apache Hadoopのユニットテストを回すの補足です。試行錯誤の結果ついにhadoop-openstack moduleのテストを回すことに成功したのでメモを共有します。 お...
1
0
Comment0
Apache Hadoopのユニットテストを回す
ユニットテストを回すオプションについてまとめました。開発者向けです。 普通に回す $ mvn test -Pnative -Pshelltest -Pnative: ネイティブライブラリをビルド...
5
0
Comment1
Apache Hadoop 3でまずハマりそうなポイント
今年の9月にApache Hadoop 3.0.0-alpha1がリリースされました。2.0.0-alphaのリリースから実に4年以上が経過しており、かなり大規模なアップデートになっています。 ...
28
21
Comment3
Software licenses in Apache Hadoop binary tarball
Moved to spreadsheet. https://docs.google.com/spreadsheets/d/1HL2b4PSdQMZDVJmum1GIKrteFr2oainApTL...
0
0
Comment0
Tez 0.5.2をHadoop 2.6.0で動かしてみる
前提 コミュニティ版のHadoop 2.6.0がインストールされていること 参考: Hadoop 2.5.0からHDFSをアップグレードするメモ Tez 0.5.2のインストール 基本的に、公式...
4
4
Comment0
Bigtopと戯れる その2
Bigtopと戯れる その1の続きです。ひたすら戯れましたが、課題が残ってしまったので続きを書くかもしれません。 目標 最新版のHadoopのRPMファイルを作ること 自分でパッチを当てたHad...
3
2
Comment0
Bigtopと戯れる その1
Apache Bigtopとは、Apache Hadoop関連のプロダクト(Hadoop エコシステム)のパッケージング、テストなどを担当するツールですが、実際にどのようにして使えばいいのかにつ...
8
5
Comment0
FileOutputCommitterの新アルゴリズムについて (MAPREDUCE-5485)
Hadoop 2.7.3/2.8.0 (どちらもまだリリースされていない) 以降では、mapreduce.fileoutputcommitter.algorithm.versionを指定すること...
6
3
Comment0
How to use findbugs in Apache Hadoop project
This blog post is for Hadoop developers. It may be as a reference for you if you are not a Hadoop...
2
2
Comment0
Hadoop 2.7.0がリリースされました
全般 Hadoop 2.7.0のリリースにおいて、合計で923件のissueが解決されました Common: 259 HDFS: 350 YARN: 253 MapReduce: 61 Rele...
6
6
Comment0
volatile変数をインクリメントしてはいけない
問題提起 Java逆引きレシピを読んでたら Count.java Class Count { private volatile int count; public void increment(...
5
6
Comment1
HDFS findコマンドについて
こんばんは。Hadoopによくパッチを投稿してる@ajis_kaです。早速ですがHDFS findコマンドについて紹介します。 Hadoop 2.6.0以前では使えない 現状の最新リリース(2....
5
4
Comment0
Hive 0.14 on Tezを試す
目的 最新バージョンの組み合わせ(Hive 0.14 + Tez 0.5.2 + Hadoop 2.6.0)でHive on Tezが動作することを確かめる。 前提 Hadoop 2.6.0と、...
2
2
Comment0
Hadoop 2.5.0から2.6.0にアップグレードするときの手順 (非HA版)
Overview 2.2から2.3へのHDFSのアップグレード手順は以前の記事で紹介したが、2.4以降だと少し手順が変わっているので、ここにメモしている。 前提 細かいバックアップ手順などは書い...
5
5
Comment0
Mavenで外部リポジトリを追加する (Hadoopの場合)
リリース判断のvotingをするために、RC(Release Candidate)をビルドしたい。けれども、レポジトリがまだ正式に登録されていないからmvnコマンドが実行できない、という場合の対...
1
1
Comment0
Hadoop 2.5.0がリリースされました
変更点とか、追加機能についていくつかメモ書き。 概要 リリースノートはこちら。2.5.0になって、ようやくこのページが更新されました。次回以降のリリースでも、このページが更新されるようにしていき...
5
5
Comment0
24 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles