2023年12月7日
Aiven for Apache Kafka®に階層型ストレージを導入：コスト効率とスケーラビリティの向上を実現
Tiered Storage for Apache Kafka®は、コスト・パフォーマンス比の向上、運用の柔軟性、拡張性の向上をお客様に提供します。
Apache Kafka®は、データやイベントをリアルタイムでストリーミングする必要のあるデータアーキテクチャに不可欠なコンポーネントとしての地位を確立しています。Aivenでは、お客様がますます多様なユースケースでApache Kafkaを使用し、より大量のデータを扱うようになっていることを目の当たりにしてきました。その結果、お客様は大量のデータをApache Kafkaに保存するための費用対効果の高い方法を探すと同時に、増大するワークロードの安定性とプロダクショングレードを維持する方法を模索しています。
データおよびイベント・ストリーミング・システムで大規模なデータ・ストレージをサポートすることがもたらす課題に対処するため、AivenはオープンソースのApache Kafkaコミュニティと協力し、Apache KafkaにTiered Storageのサポートを追加しました。Kafka 3.6のパブリック・プレビューから始まったTiered Storageにより、Kafkaユーザーは、古いデータやアクセス頻度の低いデータを低コストのストレージにシームレスに保存できるようになった。これにより、ローカルストレージ層は引き続きKafkaブローカーノード上のログセグメントを保存するために使用し、リモートストレージ層はAmazon S3、Azure Blob Storage、Google Cloud Storageなどのクラウドオブジェクトストレージを使用する、二層ストレージのセットアップが可能になります。これにより、ブローカーノードのストレージサイズを縮小し、コストを削減できるほか、ノード間の大規模なデータレプリケーション操作が不要になるため、アップグレードやマイグレーションのパフォーマンスも向上します。
本日、Tiered Storage for Aiven for Apache Kafkaをリリースすることで、Apache Kafkaのストレージコストを大幅に削減する機能をお客様に提供できることを嬉しく思います。Tiered Storage for Aiven for Apache Kafkaは、Kafka 3.6を使用している既存および新規のお客様向けに早期提供を開始します。
早期利用可能期間中にTiered Storage for Aiven for Apache Kafkaを試してみたい方は、Aivenアカウントチームまでご連絡ください。ご希望のKafkaトピック用にセットアップするためのサポートとガイダンスを提供します。Early Availabilityのサービスはベータ版であり、Aivenは本番ワークロードでの使用を推奨していません。Early Availabilityで開始されたすべてのサービスと同様に、Aivenのチームはフィードバックを収集し、Tiered Storage for Aiven for Apache Kafkaの安定性とパフォーマンスを監視した後、近い将来にGeneral Availabilityを発表し、本番ワークロードをサポートする予定です。
どのくらい節約できますか？
例として、ある小売業が11月から12月にかけての世界的な小売ショッピングイベント（シングルズデー、ブラックフライデー、ホリデーショッピングシーズン）に伴うデータ量の増加に対応する準備をしている場合を考えてみましょう。この小売業者はAiven Business-4 Kafkaサービスをgoogle-europe-central2リージョンで運用しており、予測では990GBのディスク・ストレージを追加する必要がある。オンノード・ストレージを使用すると、月額859米ドルがかかる。これに対し、Aiven for Apache KafkaのTiered Storageを使えば、同じ容量で月額85.50ドルしかかからない。さらに、この小売企業の技術チームは、必要な容量を過少または過大にプロビジョニングするリスクを伴う予測に基づいて運用する必要がなくなりました。
Apache Kafka用階層型ストレージのメリット
Aiven for Apache KafkaのTiered Storageを使用すると、次のようなメリットが得られます：
- Aiven for Apache Kafkaの無制限ストレージ:** 従来、Kafkaは通常、ローカルディスクのサイズによって制限された保持期間（通常、数日または1週間程度）で構成されていました。保持期間より古いデータは、期限切れ（削除）か、サードパーティのシステム（多くの場合、外部ストレージ）に移動して長期的に保持されていました。前者の場合、古いデータは失われ、後者の場合、アプリケーションはデータの年齢に応じて2つの異なる検索メカニズムをサポートする必要がある。Aiven for Apache Kafkaは、Tiered Storageを利用することで、リアルタイムデータと履歴データを容易に処理できる包括的なストレージ・ソリューションとなり、顧客のアプリケーション・アーキテクチャを簡素化し、時間的な制約を取り除きます。
- Aiven for Apache Kafkaクラスタの弾力性向上： **すべてのデータをローカルに保存していた場合、スケーリングやノードの交換処理では、データセット全体を古いノードから新しいノードにコピーする必要がありました。その結果、Kafkaクラスタのリバランシングに時間がかかることになります。Tiered Storageでは、ノードの複製はノード自体のデータをコピーするだけで済みます。これは、アップグレード時間の短縮やクラウドプロバイダー間の迅速な移行が可能になることを意味します。
- クラウド・インフラ・コストの最適化：Tiered Storage for Apache Kafkaを使用することで、お客様は計算とデータ・ストレージのニーズを切り離すことができ、総運用コストを最大50%削減できます。お客様は、データ保持量を増やすために新しいKafkaノードを追加する必要がなくなりました。必要なのは、パフォーマンスや耐久性の理由で水平スケーリングが必要になったときだけです。
価格と入手方法
Tiered Storageの価格は、使用するオブジェクト・ストレージ・システムによって異なりますが、1GB/月あたり0.09ドルからとなっています。Tiered Storageのコストは、使用するリモートストレージの量によって決定され、GB/時間で測定されます。AivenコンソールでTiered Storageを有効にすると確認できます。Tiered Storageの価格の詳細については、ドキュメントをご確認ください。Tiered Storageは、Amazon S3、Google Cloud Storage、Azure Blob Storageの3つのハイパースケーラーすべてのクラウドストレージサービスをサポートしています。
Aivenの他のサービスにおけるTiered Storage
私たちはプラットフォーム全体に階層型ストレージ機能を追加する作業を行っています。Aiven for Clickhouse®をご利用のお客様は、今すぐClickhouseインスタンスでTiered Storageをお試しいただけます。現在、ClickhouseのTiered Storageのご利用は限定的ですが、早期アクセスにご興味のある方は、今すぐ弊社チームまでお問い合わせください。
Aiven for Apache KafkaでTiered Storageを有効にする方法
Aiven for Apache KafkaのTiered Storageを非運用ワークロードで有効にするには、Aivenアカウントチームに連絡し、Avien for Apache KafkaのTiered Storageのサポートを有効にするよう依頼してください。Tiered Storageが有効になったら、以下の手順に従ってください：
**Aiven コンソール に移動します。
[2] コンソールの右上から「ユーザー情報」にアクセスします。
**ドロップダウンメニューから「機能プレビュー」を選択します。
**機能プレビュー」セクションの「Aiven for Apache Kafka®階層型ストレージ」セクションで「有効化」をクリックします。
**Aiven Consoleのホームに戻ります。
**新しいKafkaサービスを作成します、
**Apache Kafkaを選択する。
**Aiven for Apache KafkaでTiered Storageを使用するには、Kafkaバージョン3.6を選択してください：
**クラウドプロバイダー、サービスリージョン、サービスプランを通常通り選択します。
**この新サービスのために、Tiered Storage 機能のプレビューを有効にするオプションが追加されました。有効化すると、Aivenコンソールの右側の列にTiered Storageの料金が自動的に表示されます。
1[1]「Create Service」をクリックすれば準備完了です。
一度有効化したTiered Storageを無効化すると、クラウド・ストレージ階層内のデータはすべて失われます。Early Availability中にTiered Storageを停止するには、Aivenサポートに連絡する必要があります。
本日この機能をお試しいただくお客様は、Kafkaインスタンスでトピックごとに階層化されたデータを選択し、古いデータをAmazon S3、Google Cloud Storage、またはAzure Blob Storageにオフロードすることができます。Aiven for Apache KafkaのTiered Storageがどのように機能するかについては、対応するドキュメントをご覧ください。
Aivenを初めてご利用になる方は、ぜひ無料トライアルにご登録いただき、Aiven for Apache KafkaのTiered Storageを実際に体験してみてください。Aivenプラットフォームのアップデートや今後のTiered Storageの追加については、changelogをご覧ください！