Apache HTTP Server
Apacheという言葉は、ITに少しでも関わると必ずすぐに目にする言葉です。
これは多くの場合 Apache HTTP Server の略であり、Apache License2.0の条件でリリースされるフリーでオープンソースのクロスプラットフォームのWebサーバソフトウェアのことを意味します。
Apacheソフトウェア財団
Apacheソフトウェア財団(Apache Software Foundation,ASF)は、オープンソースのソフトウェアプロジェクトを支援する団体であり、アメリカ合衆国で登録された非営利団体です。当初はWebサーバソフトウェアであるApache HTTP Server の開発のために発足しましたが、現在は多くのプロジェクトを抱え、ソフトウェアブランドとしてのApacheを保持しています。
プロジェクトの例
Apache ActiveMQ
Apache ActiveMQは、Java Message Service を実装したメッセージ関連のオープンソースのミドルウェアです。
Aapche Airflow
データ処理やETLジョブなどのワークフローを定義・管理・監視できるツール。
Apache Beam
「バッチとストリームの両方を同じコードで書ける」フレームワーク
Apache Cassandra
Apache Flink
ストリーム処理およびバッチ処理フレームワークです。
Apache Hadoop
Apache Kafka
Apache Kafka は高スループットな分散型のメッセージングシステムで、ストリーミングデータ処理のために使われます。イベント駆動アーキテクチャやリアルタイム分析基盤の中核を担います。
オフセット(offset)による読み戻しが可能で、任意の位置から再処理できます。Kafkaのオフセットは、
「そのパーティションの中で、各メッセージが何番目にあるか」を示す通し番号のことです。
キー単位の順序保証
同じキーを持つメッセージは、必ず同じパーティションに入り、順序が保証されます。
Apache POI
WordやExcelといったMicrosoft Office形式のファイルを読み書きできる100% Javaライブラリとして提供されています。
Apache Spark
Spark のシャッフルでは、ファイルサイズが小さいとオーバーヘッドが増え、パフォーマンスが悪化します。
1ファイル1GB以上がSparkジョブのI/O最適化のベストプラクティスの1つです。
WindowsでのPySparkの環境構築
Apache TinkerPop Gremlin DB
Apache TinkerPop Gremlinは、グラフデータベースを操作するためのプログラミング言語です。
Apache Tomcat
Javaで作成したWebアプリケーションを実行するために利用するソフトウェア。