10年前の一見無関係な2つの出来事が、アリババが毎年開催している「W11 ショッピングフェスティバル」の継続的な成功につながっていることを紹介します。
2009年、一見無関係に見える2つの出来事が起こりました。Alibaba Cloudが設立され、Tmallが「W11 ショッピングフェスティバル」という販売キャンペーンを開始したのです。
初春の終わりに、Alibaba Cloudのエンジニアは、北京の熱供給のないオフィスビルで、Apsaraシステムの最初のコードを書き留めました。そして同じ年の11月11日、Tmallは「W11 ショッピングフェスティバル」を開始しました。その数年後に、今のような状態になるとは誰も予想していませんでした。
W11ショッピング・フェスティバル
2007年、タオバオの商品総価値（GMV）は400億元に達しました。大きな成果ではありましたが、集中型アーキテクチャに関する技術チームの懸念は解消されませんでした。成長を続けるビジネスに追いつくためには、何か手を打たなければならないと考えたのです。そして、アーキテクチャを分散型に再構築し、それに基づいてタオバオのすべてのビジネスを後からモジュール化したのです。
しかし、この技術アップグレードには多くの限界があったようで、CDNで増大する画像のキャッシュにスロットリングで対処することを目指しました。しかし、この再構築が、2009年の第1回「W11ショッピングフェスティバル」をもたらしました。その日、データ量は新たなピークに達し、新しい分散型アーキテクチャは、古いアーキテクチャではほとんど実現できなかった高圧力に耐えたのです。
その1年後、Apsaraシステムの第1版がリリースされました。わずか数十台のマシンからなるクラスターが、最初の社内顧客であるAnt Financialへのサービスを開始しました。
従来の高価なUNIXサーバーのハードウェアとソフトウェアを、汎用的なx86サーバークラスタに分散して置き換え、仮想化などの新しい技術を使えば、いつでもPay-As-You-Goモードでコンピューティングサービスを利用できます。
トラフィックラッシュ：サージ・コンピューティング
技術チームは、2011年の「W11ショッピングフェスティバル」での悪夢のようなトラフィックピークを忘れることはないでしょう。その日、システムの技術的な問題により、多くの商品がTmallで売られすぎてしまう事象がありました。その後、この専門家グループは、「W11ショッピングフェスティバル」が単なるビジネスキャンペーンではなく、技術的な課題にあったことに気づきました。それが技術的な挑戦となりました。
翌年、Tmall、Alibaba Cloud、HiChinaは共同で、cloud.tmall.comプラットフォームの立ち上げを発表しました。このプラットフォームは、世界で初めてクラウドコンピューティングをベースにしたものでした。TmallやTaobaoのマーチャントやサービスプロバイダーにITインフラを提供しました。
アリババクラウドのECSサーバー、ApsaraDB for RDS、SLBネットワークをベースに、マーチャントのビジネスオーダーを継続的にプラットフォームにプッシュすることで、データの安定性と継続性を確保しました。W11にクラウドコンピューティングが関わったのは初めてのことでした。クラウドコンピューティングのおかげで、この日、TmallのGMVは191億元に達しました。
Apsaraシステムの急速な成長は、すべての人に大きな自信をもたらしました。Apsaraのクラスター容量は、5年間で1,500台から3,000台に増加した。2013年8月には、1つのクラスターに収容できるマシンの数が5,000台を超え、さらに、複数のクラスターを使ったIDC横断的なコンピューティングもサポートされました。
その後の数年間で、クラウドコンピューティングは徐々にショッピングフェスティバルの礎となっていきました。2014年には、cloud.tmall.comプラットフォームでの取引の96%にアリババクラウドサービスが使用されました。
2015年、アリババはダブル11ショッピングフェスティバルのために、パブリッククラウドとApsara Stackをシームレスに組み合わせた世界最大のハイブリッドクラウドを構築しました。
これらの成果は、最終的には社会全体のために使われています。サージコンピューティングは、春節の12306.cnでのチケット予約、ワールドカップ、Weiboでのブログなど、様々なイベントに対応するために、多くの分野やシナリオで広く利用されています。
データプラットフォーム：コンピューティングが価値を生む
2013年頃、ネット界隈ではポニー・マ氏の「チケット理論」が流行っていました。「チケット」を持っている企業だけが未来があると信じられていたのです。しかし、どうすればチケットを手に入れられるのか、明確なアイデアはありませんでした。
しかし、モバイル端末で生成される大量のデータを処理するための新たな要件により、Alibaba Cloudのビッグデータプラットフォームの開発が促進されました。
アリババが2004年にすでに最初のビッグデータ倉庫を持っていたことはほとんど知られていませんでした。当時は、倉庫内のデータをもとに将来の市場動向を予測していました。2008年、タオバオのビジネス量とデータ量は2004年の数千倍に達していました。データを生産材料として活用するためには、ビッグデータ技術を下層から再構築することが非常に重要になりました。
2010年春、アリババはSQL Engine（後のビッグデータエンジンMaxCompute）の初版を発表し、30台のマシンで構成されるApsaraクラスターで稼働させました。
2011年、Apsaraチームは社内のデータウェアハウスサービスをサポートする方法を模索し始めました。1,500台のマシンで構成されたクラスタでDataWorksとMaxComputeの本番ジョブを並列実行したところ、Hadoopと同等の性能と安定性が得られることがわかりました。
Apsara 5Kプロジェクトが完了した後、MaxComputeは5,000台のマシンからなるクラスタで実行され、ADC間でスケジューリングされ、100TBのデータを377秒でソートできるようになりました。
MaxComputeを搭載したAlibabaは、2014年からDouble 11 Shopping Festivalにおいて、パーソナライズされたサービス体験を人々に提供しています。MaxComputeは、アリババの主要なコンピューティングプラットフォームとなっています。
1、アリババのデータストレージサービスの99％、コンピューティングサービスの95％がMaxComputeに依存しています。
2、毎日500万件以上のジョブがMaxComputeで実行されています。
3、2017年11月11日、MaxComputeは320PB以上のデータを処理しました。
ここ数年で「チケット理論」は消滅しましたが、ビッグデータプラットフォームの価値が前面に出てきました。ビッグデータとAIアルゴリズムの組み合わせにより、MaxComputeはET Brainの最も重要なコンポーネントとなりました。ET City Brainは、信号機を自動的に調整することができ、マレーシアの交通管理に適用して成功しています。ET Industrial Brainは、メーカーの歩留まり率を1％向上させることに挑戦しています。
Digital AlibabaからDigital Cityまでのソリューションにおいて、MaxComputeはEBクラスのデータストレージ機能を提供しています。100TBのデータでBigbenchテストに合格した最初のビッグデータ・コンピューティング・プラットフォームです。パブリック・クラウドでは12の国と地域で採用され、Apsara Stackでは100以上のプロジェクトに導入されています。
人類史上最大規模の人と機械のコラボレーション
2017年の「Double 11 Shopping Festival」は、人類史上最も大規模な人間と機械のコラボレーションによる「スーパープロジェクト」と言われています。技術の運用・保守、アイテムの推奨、顧客サービス、決済、物流など、あらゆる場面で機械知能が活用されました。
データ、コンピューティング、アルゴリズムは、AIの3つの核となる要素です。一般的なコンピューティングサービスをベースに、ApsaraチームはAI向けのヘテロジニアス・コンピューティングの探求を始めました。
2017年9月12日、Alibaba Cloudは、新しいヘテロジニアス・コンピューティング・アクセラレーション・プラットフォームの立ち上げを発表しました。これは、6つのメインストリームのヘテロジニアスインスタンス（AMD GPU、NVIDIA GPU、Intel FPGA、Xilinx FPGAを含む）をすべてカバーする業界初のプラットフォームでした。さらに、最大で75TFLOPSの演算能力を備えていました。
この新しいインフラにより、世界で最も大規模な人間と機械のコラボレーションが可能になりました。W11ショッピングフェスティバルの期間中、ECS GPUクラスターには大量のAIサービスとビデオトランスコーディングサービスが展開されています。ApsaraVideo、Alime、Pailitao（snap and buy）のビデオインテリジェンス処理、New RetailのインテリジェントサプライチェーンマネジメントなどのAIサービスは、すべてHaotian（Alibaba Cloudのヘテロジニアスコンピューティングアクセラレーションプラットフォーム）によって加速されています。
1、アリババデータセンターのロボット「Halo-Explorer」は、毎日IDCの検査を行っています。O&M担当者に代わって、ルーティンタスクの30%を実行しました。
2、AIスケジューラーDalingは、ADCのリソース割り当て率を90%以上の値に高めました。
3、AIアシスタントのAlimeは、買い物祭りの日にカスタマーサービスの相談の95%を受け持ちました。
4、Cainiaoスマート倉庫ロボットは、1日で100万個以上の荷物を出荷しました。
5、AIデザイナーのLubanは、ショッピングフェスティバルの期間中、4億1千万枚の商品ポスターをデザインしました。
6、アリババ・インテリジェント・レコメンデーション・システムは、ショッピングフェスティバル当日、ユーザーのために567億個以上の専用の「棚」を生成し、ユーザーにパーソナライズされたサービス体験を提供しました。
半年後に武漢で開催されたコンピューティングカンファレンスで、アリババクラウドとそのパートナーは、AIスマートオーダー機器を初めて展示しました。目覚ましの言葉がない中、顧客は1秒間に5語のスピードで機械に話しかけて商品を注文し、頻繁に言葉を変えた。機械はその都度、正確に対応していました。
これらのインフラや商材は、今ではさまざまな業界で活躍しています。
ダブル11ショッピングフェスティバル2018 powered by Apsara 2.0
当初、技術革新はプラットフォームのピーク時のトラフィック問題を解決するためのものでした。今では、新しいテクノロジーがビジネスの変革をリードしています。
アリババ2018ダブル11ショッピングフェスティバルでは、アリババクラウドが "サージコンピューティング "の新記録を達成しました。Alibaba Cloudが動的に割り当てるECSコアの累積数は1,000万を超え、これは大規模なIDC10社の能力に匹敵します。また、Apsara 2.0は、ショッピングフェスティバルを完全にサポートするために、以下の機能を提供しました。
1、アリババクラウドのECS Bare Metal Instanceは、基幹システムとして重要な役割を果たしています。ECSベアメタルインスタンスは、ハードウェアとソフトウェアが一体となった次世代の仮想化アーキテクチャであるX-Dragonをベースに開発されました。このインスタンスは、物理マシンと仮想マシンの長所を組み合わせ、基幹システムのピーク時におけるQPSの性能制限をすべて解消しました。
2、業界で初めて100万IOPSをサポートし、数十ペタバイトのデータを保存できるESSDを採用しました。最高のI/Oコンカレンシーを容易に処理することができます。
3、信頼性の高いApsaraVideo Liveソリューションにより保護されたTmall Double 11 Festival Nightのウェブキャストは、Youkuで2,500万人以上の視聴者をカバーし、最大帯域幅の新記録を達成しました。
4、CDNは中国国内のインターネットトラフィックの3分の1以上に加速サービスを提供し、ApsaraVideo Lazadaは中国国外のユーザーにウェブキャストサービスを提供しました。
5、中国市場でIPv6が大規模に商用利用されたのは初めてのことでした。IPv6は、クラウド、ネットワーク、デバイス、アプリケーションで完全にサポートされています。
6、Blinkは1秒間に最大17億1800万件のデータレコード（新華社の辞書120万冊分のデータ量に相当）を処理しました。
7、MaxComputeは、1日で500PB以上のデータを処理し、ピーク時には毎秒12万件のディールをスムーズにサポートしました。
8、Alibaba Cloud Securityは、クラウド上のお客様に数千万件のリスク識別サービスを提供し、Anti-DDoS Premiumを世界に輸出して、グローバルビジネスを保護しました。
これらの技術により、システム全体でトラフィックのピークに対応することが容易になりました。この日のGMVは2135億元に達し、新記録を達成しました。
IoTの登場により、Double 11 Shopping Festivalにはより多くの想像力を働かせる空間が生まれました。
消費者側では、IoT技術がニューリテールにサービスを提供しながら、新たな追跡経済を生み出しています。この技術は、Tmallの輸入商品の追跡を保証します。消費者は、輸入商品の追跡情報や海上輸送情報をリアルタイムで見ることができます。
メーカー側では、IoT技術により、Tmallブランドの衣料品メーカーは、受注、発注、商品のストックをデジタルで行い、パーソナライズされた柔軟な方法で商品を生産しています。配送精度はほぼ100％。農業生産、輸送、販売のフルリンクがアップグレードされます。
オンラインからオフラインへ、製造から物流・販売へ、中国から他の国や地域へ、アリババクラウドの技術力はあらゆる分野に広がっています。
まとめ
2009年に開催された第1回目のW11ショッピングフェスティバルでは、参加したブランド数はわずか数百万ドルに過ぎませんでした。それが10年後には、300億ドルを超える規模にまで成長しました。このショッピング・フェスティバルは、将来のビジネス慣行のモデルとなり、新しいテクノロジーをテストする最大の場となっています。これらの新技術は、徐々に社会全体の基本的な能力となり、グローバルな社会的協力を促進していくでしょう。
本ブログは英語版からの翻訳です。オリジナルはこちらからご確認いただけます。一部機械翻訳を使用しております。翻訳の間違いがありましたら、ご指摘いただけると幸いです。
アリババクラウドは日本に２つのデータセンターを有し、世界で60を超えるアベラビリティーゾーンを有するアジア太平洋地域No.1(2019ガートナー)のクラウドインフラ事業者です。
アリババクラウドの詳細は、こちらからご覧ください。
アリババクラウドジャパン公式ページ