ElixirAdvent Calendar 2022

fukuoka.ex：福岡Elixirコミュ

ElixirChipの鼓動① 君はElixir CPU＋リモートGPUによる高速分散データ処理とエッジコンピューティングの未来を見る

Last updated at 2024-05-29Posted at 2022-07-30

この記事は、Elixir Advent Calendar 2022 8の6日目です

昨日は、@RyoWakabayashi さんで「Livebook に散布図と回帰直線を表示する」でした

piacere です、ご覧いただいてありがとございます

今回は、タイトル通り、厨二病ポエムです…ちなみにタイトルの元ネタは、下記からです

ElixirChipにより訪れる未来

現代のコンピューティングは、シングルコアCPUメインのプログラミング言語が主流であることにより、世界中のPCやクラウドがマシンパワーを使い切れていない … という構造的課題が蔓延しています

この課題は、作り手たるエンジニアに生産性低下（マルチスレッド化などがその代表）をもたらし、分散によるスケーリングをクラウド費用増額でしか解決できないといった問題を誘発します（そもそもこの構造に気付いていない方も多いですが）

この技術課題が、エンジニア自身の働き方や組織形態の非効率さにも繋がることがあります … いわゆる「コンウェイの法則」です

こうした状況から解放された場合、どのようなことが可能になるかのイメージに迫ってみたいと思います

①3,000台のPCを10台で実現できれば誰もがGoogle／Amazonになることが出来る

ElixirImp#21で登壇した通り、私は2015年に300台のPCを、Elixirで10台に収容する体験をしました … ここからアルケミスト（Elixir愛好家のこと）としての旅が始まりました

このレベルでも充分にインパクトある実績で、たとえばクラウド上サーバ1台＋DB利用あたり月5万円かかるとすれば、1,500万円かかっていたクラウド費用が、50万円にコストダウンできてしまいます

ちなみに私のこのケース以外にも、Elixirは国内外で似たような威力を発揮しており、最近のメジャーどころだと、SpotifyやSlack、oVice、Discord等のコミュニケーションサービスや、VARKのようなVRプラットフォームといった大量ユーザを抱えるネットワークサービスが、ネットワークサーバ処理や並行・分散処理に強いElixirの恩恵を受けています

これがもし、ハードウェア結線された「ElixirChip」だったら、どうなるのか？

「3,000台のコンピュータを10台にする」みたいな世界が拓けるかも知れません

これは分かりやすく言い換えれば、

「誰もがGoogleやAmazonと同じ規模のコンピューティングが可能となる未来」

です

3,000台にかかるコスト1.5億円が、僅か50万円に圧縮されるので、圧倒的な市場優位性を発揮したり、開発費用を幾らでも捻出できる … そういった価格優位性も生み出します

なお、関数型言語が行き着く未来は、「Brooklyn Zelenka and The Exciting World of Edge Computing」の第2回 で紹介した通り、「状態」と「イミュータブルのデータ」の管理に徹し、処理は全て「ハードウェア化する」という方向性です

プログラミングパラダイムの違いが、「作り方の違い」や「生産性」程度では済まず、圧倒的な性能差異へと繋がるということです

②エッジ／エッジサーバ／クラウドを行き来できる

コンピューティングパワーが上述したような状態になると、「ネットワーク」がコンピューティング全体の性能上限を決めるようになっていきます

ネットワーク性能を向上させるためには、以下3つがあります

ネットワークの帯域幅の向上
サーバ側のネットワーク処理性能の向上
サーバの物理配置を近づける

クラウドを前提にした場合、「Brooklyn Zelenka and The Exciting World of Edge Computing」の第3回 で述べられている「クラウド近隣地域以外に対する技術的不公平」のような問題は、上記のうち、3番目に該当する課題であり、これに対する回答は「エッジコンピューティング」です

現代のWeb3やDIDは、ネットワーク負荷に対して積極的な解決を図っていない（ソレ以上に上記①の課題を抱えているため）のですが、より社会に浸透していけば、確実に大きなボトルネックとなるはずで、その回答もエッジコンピューティングでしょう

ただ、現代のエッジコンピューティングは、以下の課題を抱えています

エッジやエッジサーバは、クラウドと異なる開発が要求され、オフロードしにくい
処理単位が「プロセスでの稼働」を前提としないため、プロセス単位のオフロードがやりにくい
クラウドサービスが無い状況下で分散系を構築しにくい（≒作れるエンジニアが少ない）

Elixirは、以前書いた下記コラムで述べている通り、これら課題をすでに解決しているため、現状課題に囚われず先のことを考えられます

ElixirChipは、こうしたElixirの強みを保ったまま、上記した2番目の「サーバ側のネットワーク処理性能の向上」も叶えるため、世界中のネットワークの在り方を変革するインパクトを持つことになるでしょう

③世界中のスマホがGPU非搭載PCにVR／3D処理を提供

「Render Network」という企業をご存知でしょうか？ … 分散GPUレンダリングサービスを提供するアメリカ企業です

別名「クラウドレンダリング」と呼ばれるこの領域は、以下を可能とします

VRや3D処理に必要なコンピューティングパワーをGPU非搭載PCにAPI提供
描画に限らず、Ethereum VMやWASMといったWeb3に必要なGPUパワーもAPI提供
その他、AI・MLやビッグデータ分析に必要なGPUパワーもAPI提供

クラウドレンダリングは、未だ提唱されたばかりのアイデアですが、やがて次のクラウド的存在へと成長するポテンシャルを秘めたアイデアと捉えています

ここから更に一歩先に行くと、「世界中のスマホをGPUファームとして構成する」というアイデアへと繋がります

その中心に必要なのは、ElixirChipで構築された、凄まじく高速で、安定性抜群かつ低レイテンシなNWサーバです

またGPUサイドに関しても、Elixirによる革新的アイデアがあり、コチラは @zacky1972 さんが、そのうち開示してくれると思うので、その際に言及できたらいいなぁと思います

こうした諸々によって、デジタルツインやメタバース含む、昨年述べた様々なコンピューティングを、GPU非搭載なローカルPCのハードウェアに制約されずに叶えていけるでしょう

④Lend GPU to Earn：遊んでるスマホを提供して稼ぐ

世界中のスマホをGPUファームとして構成するには、世界中のスマホユーザからGPUパワーを借りる必要があります

それを叶えるのが、Web3文脈の「X2E（X to Earn）」で、ここでは「Lend GPU to Earn」を提唱します

家でスマホが遊んでいる時間帯を貸し出すことで、トークン／仮想通貨が稼げるという世界観です

Web3では、非中央集権的なコンピューティングを叶えるために、世界中に分散されたノードによるコンピューティングを前提としていますが、Ethereum VMやWASMといったノードの提供は、一般ユーザにとってはそれなりにハードルがあります

そこをユーザが参加容易なUXを提供し、より多くのスマホユーザが参加するエコシステムを提供することで、クラウドに匹敵するコンピューティングを叶えていきます

こうした発想が、本来的なWeb3を支える思想だと思うのですが、現在のWeb3には、こうしたアイデアが欠乏しているように思えてなりません … もっとテクノロジーで解決できる領域があると思います

ちなみに現代のスマホに搭載されているGPU（snapdragon 888、Apple A15など）は、NVIDIA GTX1060程度の性能を持っており、PC要GPUと比べて遥かに省電力という特徴を持っているため、「スマホだから…」と馬鹿にできない進化を遂げているのです

⑤ネイバーフッドコンピューティング

ここまでのアイデアを抽象化すると、

「必要なコンピューティングパワーは『ご近所』で揃えていく」

と言った、現在のクラウドに反するような、新しいけど古典的な発想へと行き着きます

私は、コレを勝手に、

「ネイバーフッドコンピューティング」

と呼んでいます

この発想は、コンピューティングの枠に限らない、以下のような効果／影響をもたらします

自分達の住む地域に必要なサービスやAPI、設備は、自分達で叶える
- gov.ukやエストニアは、この発想の原始的な先行モデルと言えるでしょう
- こうした活動により、地域毎の特色が出てきて、地方創生や移住の需要を生み出す
自分達の生活や仕事も、自分達が住む地域の特色を生かして叶える
- 自分の理想とする生活や働き方が叶いやすい地域で自分の立ち位置を作る
望むサービスやAPI、設備がある地域に引っ越す
- 作るチカラが無い方でも、「選ぶ自由」が生まれる

私自身の体験としても、3D点群加工処理の業務改善にて、オフィスにあるハイパフォーマンスコンピュータを使わなければ出来ず、ライセンス費用も1,000万円以上かかっていたのを、Elixirエッジコンピューティング開発により、近隣地域のママさんが自宅の低性能PCからでも作業可能にしたことで、働き方の裾野を拡げるお手伝いができました

これと似たような雇用創出を、各地域や自治体で拡げていくことは、「その地域の未来を考えてくれる企業」が幾つかあれば充分可能だと捉えています

また、Elixirコミュニティでの技術研鑽やお仕事への接続も、本質的には「ご近所付き合い」的な要素が大きいと感じてて、今、大手企業を中心に、コミュニティの優秀な人材を登用する流れも、この「ご近所付き合い」による良質でハズレの少ない関係性が注目されているのだと捉えています

以下の本は、デジタル上のコミュニティについての本ではありませんが、コロナ以後のコミュニティというものを考える上で参考になる本です

ネイバーフッドデザイン - まちを楽しみ、助け合う「暮らしのコミュニティ」のつくりかた