Datadog 上の原典ポストへのリンク:
https://www.datadoghq.com/blog/3-clear-trends-in-ecs-adoption/
以下は、Datadog が 2016 年末に公開した、”3 clear trends in ECS adoption” のポストを @jhotta が日本語化にしたものです。プロの翻訳ではなく、 もっぱら素早く ECS の普及状況を共有することを目的としています。技術的な要素で日本語の表記に問題がある場合は、コメントなどにより連絡をもらえますと助かります。
Last year, we published a study of Docker usage across our broad customer base. The data, which we then updated in June 2016, shows that the excitement around Docker is not just hype. Docker is being used at a large and ever-increasing number of organizations, and the companies that try Docker tend to stick with it.
As this young technology finds increasing use in production environments, we decided to take a deeper look at how organizations are managing their containerized application infrastructure. At Datadog, we have seen a tremendous amount of interest in container orchestration tools such as Kubernetes and Amazon ECS, but we wanted to see if our anecdotal observations were backed up by actual usage data.
Because we have thousands of customers running Docker, we can see usage and adoption trends emerging in real-time. In this article we’ll examine how organizations are using ECS specifically, although we plan to study container orchestration more broadly in the future. We’ve chosen to focus on ECS initially because Datadog’s integration with ECS has been generally available for well over a year, giving our customers plenty of time to start using it.
お客さまの利用状況を基に、2015年 Docker の使用状況に関する調査を公開しました。2016年6月に更新した同調査のデータでは、 Docker の周りで起きている盛り上がりは、単なる一時的な流行ではないことを示しています。 Docker は、ますます多くの組織で使用され、又 Docker を採用している組織の規模も大きくなってきています。そして、Docker を試してみた企業は、それを引き続き使い続ける傾向にあります。
公開されて間もないこのテクノロジーが実運用環境で次々と採用されるようになってきたのを踏まえ、 Docker を採用した組織が、コンテナ化されたアプリケーション インフラストラクチャを、どのように管理しているかを詳しく調査することにしました。 Datadog では、 Kubernetes や Amazon ECS などのコンテナ オーケストレーション ツールに、多くの技術者が関心を寄せているのを既に把握しています。しかし、この高い関心を、実際の利用状況のデータがバックアップしているかどうかを確認したいと考えました。
弊社には、Docker を使用している何千ものお客さまがいるため、利用状況と採用状況の傾向をリアルタイムで判定できます。将来的には、コンテナ オーケストレーションについてより広く検証していく予定ですが、この記事では Docker を採用した組織が ECS をどのように使用しているかについて検証していきます。今回、 ECS を選んだ理由は、ECS インテグレーションは一般的に利用できるようなってから一年以上が経過しており、組織が採用を決断するには十分な時間が経過していると判断したからです。
基礎知識: ECS の仕組み
Amazon’s EC2 Container Service (ECS) is a hosted service for managing and orchestrating Docker containers in the AWS cloud. As the name suggests, ECS allows you to run Docker containers on a cluster of EC2 instances. ECS handles the scheduling and placement of containers across your cluster, balances load across containerized services, and can be configured to automatically scale your container infrastructure based on demand. And of course ECS integrates neatly with other AWS services, such as CloudWatch, ELB (Elastic Load Balancing) and Auto Scaling.
Amazon の EC2 コンテナサービス(ECS)は、 AWS クラウドの Docker コンテナを管理およびオーケストレーションするためのホスト型サービスです。 その名前が示すように、 ECS では EC2 インスタンスのクラスタ上で Docker コンテナを実行できます。 ECS は、クラスタ全体のコンテナのスケジューリングと配置を処理し、コンテナ化されたサービス間の負荷のバランスをとり、需要に基づいてコンテナインフラストラクチャを自動的に拡張するように構成できます。 もちろん、 ECS は CloudWatch、ELB(Elastic Load Balancing)、自動スケーリングなどの他の AWS サービスときちんと統合されています。
トレンド 1: ECS は静かに、着実に人気を獲得している
ECS does not have the buzz or community that buoys the open source competitor Kubernetes, but our data shows that ECS is getting plenty of real-world use. In the year-plus since Datadog’s ECS integration was first released, ECS adoption has climbed steadily from zero to 15 percent of Docker organizations using Datadog. (And more than 10 percent of all Datadog customers are now using Docker.)
ECS is steadily gaining steam for Docker orchestration.
The graph of ECS adoption as a share of Docker users shows a slight flattening in recent months, but it’s important to note that this analysis may underestimate the share of Docker users in Datadog’s customer base who run ECS.1
ECS には、オープンソースの競合である Kubernetes のように、バズって人気を押し上げてくるコミュニティはありません。しかしデータは、 ECS が実際に多くの利用を獲得ていることを示しています。 Datadog が ECS インテグレーションをリリースしてからの一年ちょっとの期間で、Dcoker 採用組織内での ECS 採用組織の割合が 0% から 15% に安定的に増えていきました。(尚現在、Datadog の全利用者の 10% 以上が、 Docker を使用しています。)
ECS は Docker オーケストレーションを実現するツールとして着実に人気を集めています。
Docker ユーザ内の ECS ユーザの割合としての ECS 採用グラフは、ここ数ヶ月でわずかに平坦化しています。しかしこの分析結果は、Datadog の顧客ベース内で ECS を採用している Docker ユーザを過小評価している可能性があるこに注意してください。(脚注:1)
トレンド 2: コンテナの増加は、問題の増加
As you might expect, orchestration is more prevalent in organizations with more Docker. After all, manually shepherding your containers is fine for small projects, but can become untenable as the number of hosts and containers grows.
Among Datadog users, we see very limited usage of ECS in organizations where fewer than five unique hosts report Docker metrics over the course of a month.2 But as the Docker infrastructure grows, so does the likelihood that a given organization will orchestrate its containers using ECS. Nearly 40 percent of organizations monitoring large Docker installations of more than 100 hosts are also monitoring ECS.
ECS usage correlates with larger, more complex Docker infrastructure.
Bucketing organizations by the number of unique Docker images in use, rather than unique hosts, reveals a similar pattern: The more images an organization uses, the higher the rate of ECS use.
予想が付くと思いますが、オーケストレーション ツールは、扱う Dcoker (コンテナ)が多い組織ほど、一般的に普及しています。結局のところ、コンテナを手動で取り扱うことは、小規模なプロジェクトではうまくいきますが、ホストやコンテナの数が増えるにつれて容認できなくなってきます。
Datadog ユーザの間では、一ヶ月間に 5 台以下のホストが Docker メトリックを送信してくる組織では、 ECS の使用が非常に限定されています。(脚注:2) しかし、 Docker インフラストラクチャが拡大するにつれて、組織が ECS を使ってコンテナを編成する可能性も高くなります。100 台以上の Docker ホストを有する大型の Docker 環境を監視するような組織では、40％ 近くが ECS も監視しています。
ECS の使用は、より大きくより複雑な Docker インフラストラクチャと相関します。
ホスト単位ではなく、使用中の Docker イメージ単位で組織を分類しても同様のパターンが明らかになります: 組織が使用するイメージが多いほど、 ECS の使用率は高くなります。
トレンド 3: オーケストレーション == 多産家系
Whether increasingly complex infrastructure demands orchestration, or orchestration opens the door to more complex container infrastructure, one thing is clear: the typical organization’s container infrastructure grows significantly right around the time that they start using ECS.
The graphs below track the increase in running containers and Docker hosts associated with a typical organization’s adoption of ECS (as inferred from the first arrival of ECS metrics). The counts are normalized per organization so that a value of 1.0 represents the organization’s average value across the time window.
We include a 60-day “before” window to show that the baseline prior is fairly steady, then starts to increase around 10 days before ECS adoption. This early ramp-up could be explained by organizations making changes to their infrastructure in preparation for a cutover, or by a lag between the actual adoption of ECS and the start of monitoring ECS with Datadog.
Companies start using more containers and Docker hosts when they adopt ECS.
In the 30 days after an organization starts reporting ECS metrics, we see a 35 percent increase in the number of running containers as compared to the 60-day baseline that came before. Using the same parameters, we see a 27 percent increase in the number of running Docker hosts.
益々複雑化するインフラストラクチャがオーケストレーションに走らせるのか、又は、オーケストレーションが複雑なコンテナインフラストラクチャを可能にしているのかというという問いのたいして言えることは、典型的な組織のコンテナ インフラストラクチャは、 ECS の使用を開始する頃に大きく成長します。
以下のグラフは、標準的な組織の ECS 採用に関連したコンテナおよび Docker ホストの増加を追跡しています(ECS メトリクスを最初に受信した時を基準にしています)。カウントは組織ごとに正規化されるため、値の1.0 は、全の時間をサンプル対象にしたその組織の平均値になります。
ECS 導入の前のベースラインがほぼ安定していることを示すために、採用前 60 日を表示しています、その後 ECS 導入の約 10 日前に増加が始まります。この初期の立ち上げは、企業がカットオーバに備えるためにインフラストラクチャを変更することによって、またはECSの実際の採用とDatadogによるECSの監視の開始の遅れによって説明できます。
企業は、ECS を導入すると、より多くのコンテナと Docker ホストを使用し始める。
組織が ECS メトリクスの収集を開始してから 30 日後には、実行中のコンテナ数は、"60日間のベースライン"に比べて 35％ 増加しています。 同じパラメータを使った場合、実行中の Docker ホスト数は、 27％ 増加します。
オーケストラのチューニング (構成要素のチューニング)
Docker is still a young technology, and the tooling around it is younger still. But all indications from our ECS analysis and our larger Docker adoption study are that plenty of organizations are already getting serious about containerization.
As container orchestration marches closer to the mainstream, we will continue to keep an eye on emerging trends. Look out for new and updated analyses on Docker adoption, ECS usage, and other infrastructure trends in the coming months.
Docker はまだ若い技術であり、その周辺のツールもまだ若いです。しかし、今回の ECS の導入実態に関する分析と、これまでの Docker 導入調査からは、多くの組織がすでにコンテナ化について真剣に取り組んでいるということです。
コンテナ オーケストレーションが主流になっていくにつれ、新たな傾向が読み取れないか、引き続き注力していきたいと思います。
現在準備している 更新版の Docker の導入分析、 ECS の使用状況分析、及び今後のインフラストラクチャ動向に関する分析にもご期待ください。
脚注
- The percentages in this graph are calculated by selecting all the organizations that enabled the Docker integration in Datadog, and determining which of those organizations also have ECS enabled in their account. But some organizations may run ECS without native Docker instrumentation, so they are excluded from the calculation. [return]
- These percentages are calculated from host and image counts during the month of October 2016. [return]
- グラフのパーセンテージは、 Datadog で Docker インテグレーションを有効にしたすべての組織を抽出し、その中から ECS のアカウントで有効になっている組織を抽出して計算されています。しかし、一部の組織では、Docker インテグレーションなどの Datadog では一般的な Docker の監視方法を使用せずに ECS を起動していることがあるため、それらの組織については計算に含まれていません。
- これらのパーセンテージは、2016年10月の月間のホスト数とイメージ数から計算されます。