この記事は、Elixir Advent Calendar 2022 10の7日目です
昨日は、@RyoWakabayashi さんで「Elixir Explorer 0.4.0 でデータフレームと Nx テンソルをシームレスに変換できる」でした
ElixirImp/fukuoka.ex/kokura.exとLiveView JPの piacere です、ご覧いただいてありがとございます
下記コラムで、Elixir生誕10周年を出迎えるコラムを昨年のAdvent Calendarでまとめました
本コラムは、そのアンサーコラムの第3弾で、Elixir/Livebook+NxでPythonっぽくAI・MLを味わうコラム一覧で、他シリーズは、こんな感じです
Elixir生誕10周年祭■第1弾:Elixir/Phoenixで会員制サイト構築は瞬殺
|> Elixir生誕10周年祭■第2弾:Elixir/LiveViewでJS不要のSPA+Tailwind UI
|> Elixir生誕10周年祭■第3弾:Elixir/Livebook+NxでPythonっぽくAI・ML
|> Elixir生誕10周年祭■第4弾:ElixirDesktopスマホネイティブアプリ開発
|> Elixir生誕10周年祭■第5弾:ElixirでWebAssemblyにトライ
|> Elixir生誕10周年祭■第6弾:Elixir/WebSocketでVR/AR/メタバース連携
|> Elixir生誕10周年祭■第7弾:Elixirでエッジコンピューティング開発
|> Elixir生誕10周年祭■第8弾:Elixirで海外進出を目指す
|> Elixir生誕10周年祭■第9弾:ElixirでWeb3/DID/DAO
|> Elixir生誕10周年祭■第10弾:Elixir/Phoenix 1.7プレビュー
|> Elixir生誕10周年祭■第11弾:Elixir Chip(専用プロセッサ)を作る
Elixir Advent Calendar 総勢13本、熱い冬ヽ(=´▽`=)ノ
例年に無い盛り上がりを見せています … 応援/購読よろしくお願いします
https://qiita.com/advent-calendar/2022/elixir
①Livebookに入門する
Livebookをインストール、起動する by @nako_sleep_9h
|> ちょっとしたスクリプトを書きたいタイミングで気軽にLivebookを利用する by @koga1020
|> Livebook v0.5 にビルトインされたMermaidでスクリプトから図を描画 by @torifukukaiou
|> LivebookのSmart cellsでPostgreSQLの接続とグラフ描画を楽しむ by @torifukukaiou
|> Elixir の dbg を Livebook で遊び倒す by @RyoWakabayashi
|> Elixir の dbg を Livebook で遊び倒す ーー 画像処理をDockerで楽しむ by @torifukukaiou
|> 「What's new in Livebook 0.7」YouTubeを楽しみました by @torifukukaiou
|> Livebook で九九の表を作る(Enum版、Nx版) by @RyoWakabayashi
②Nx(行列処理)に入門する
numpyとpyplotのコード翻訳 NxとVegaでどう書くの? by @the_haigo
|> ヒートマップをお手軽に 〜テンソルでも機械学習でもない Elixir Nx の使い方〜 by @kikuyuta
|> Elixir Nx の基礎 (Livebook) by @sand
③AI・ML(機械学習)・ディープラーニングに入門する
Eixirで機械学習に初挑戦①:基礎知識とLivebook+Nx+Axonによる機械学習入門
|> Eixirで機械学習に初挑戦②:機械学習コードの解説と「学習データの可視化」「学習過程のアニメ化」
|> Eixirで機械学習に初挑戦③:「予測」の可視化と「精度」の変化要因、「学習過程グラフ」の読み方
|> Eixirで機械学習に初挑戦④:データ処理に強いElixir(前編)…「データ前処理」基礎編
|> Eixirで機械学習に初挑戦⑤:データ処理に強いElixir(後編)…「統計」と「EDA」でKaggleに挑む
|> Eixirで機械学習に初挑戦⑥:いま、Elixir AI・MLで何が出来る?→Elixirのメリットと2023年の攻略
|> Axonを使って線形回帰のパラメータ(傾きと切片)の値を求めてみよう by @GeekMasahiro
|> Elixirにて機械学習/ディープラーニングするためのライブラリ & ツール
|> Livebookで試しなが作る、はじめてのAxonプログラム by @GeekMasahiro
手書き文字識別
Elixirでディープラーニング①:手書き文字識別(MNIST)をLivebook+Axonで
|> Axon + CanvasでMNIST手書き文字識別 by @the_haigo
|> Elixir Axon で学ぶ機械学習 (Livebook) by @sand
画像識別
ElixirのみでディープラーニングOnnx編:Livebook+AxonOnnxでResnet画像識別
|> 書籍のJupyter + KerasのコードをLiveBook + Axonで書き換えてみた by @the_haigo
|> AxonでResNet18を我流でやってみた【利用者編】 by @ShozF
|> AxonでResNet18を我流でやってみた【設計者編】 by @ShozF
|> EvisionのCascadeClassifierで顔認識をやってみた by @the_haigo
|> EvisionのDNN.ClassificationModelを使ってクラス分類をする by @the_haigo
画像生成
Stable Diffusion(画像生成AI)をローカルインストールしてみた by @Goody27
物体検知
AxonOnnxを使ってVGG16を読み込んで物体認識アプリを作ってみた by @the_haigo
|> ElixirのAxonOnnxでYOLOv2による物体検出を実行する by @RyoWakabayashi
|> ElixirのevisionでYOLOv3の物体検出を実行する by @RyoWakabayashi
|> AxonOnnx を使って VGG16 を Livebook で動かしてみた by @RyoWakabayashi
|> Elixir の AxonOnnx で YOLOv2 による物体検出を実行する by @RyoWakabayashi
|> 試してみる Monocular Depth Estimation: MiDaS on Livebook by @ShozF
|> YOLO(cvlib)を使用してLiveView上で物体検知をやってみた by @the_haigo
|> Elixirで超軽量の物体検出NanoDet plusを動かしてみる by @ShozF
|> 再考、NanoDet plusの post-processing by @ShozF
|> YOLOv7 を PyTorch と Darknet と OpenCV で動かす by @RyoWakabayashi
|> Elixirで怒涛のよろず祭り(OnnxInterp編) by @ShozF
④ディープラーニング用にGPU/EXLAを設定する
LivebookもEXLAを使ってスピードアップしたい! by @GeekMasahiro
|> Jetson NanoでEXLAを実行する by @zacky1972
|> 【2022/10月版】WSL2のElixir、NxでGPUを使ってみた by @GeekMasahiro
|> ElixirのNxとCUDAを繋ぐ最小コード by @zacky1972
|> ElixirのNxとMetalもしくはCUDAを繋ぐ最小コード by @zacky1972
⑤前処理
Elixir でデータ分析 Explorer を使ってみた by @RyoWakabayashi
|> Explorer: LivebookでTidyverseの再訪 by @westbaystars
|> Elixir Explorerのテーブルを見やすく表示する by @RyoWakabayashi
|> Elixir Explorer で欠損値を補完する by @RyoWakabayashi
|> Elixir Explorer 0.4.0 でデータフレームと Nx テンソルをシームレスに変換できる by @RyoWakabayashi
⑥ビジュアライズ
Elixir Livebook で衛星データプラットフォーム Tellus から降水量データを取得して地図にオーバーレイする by @RyoWakabayashi
|> Elixir Livebook で衛星データプラットフォーム Tellus からSARデータを取得して地図にオーバーレイする by @RyoWakabayashi
|> Elixir Livebook で衛星データプラットフォーム Tellus から台風情報を取得して地図にプロットする by @RyoWakabayashi
⑦画像加工
「JupyterNotebook + NumPyでサクッと画像加工するノリ」をElixir Livebookでやってみた
|> Elixir Livebook で画像分割・結合 by @RyoWakabayashi
|> Elixir Livebook で分散画像処理 by @RyoWakabayashi
|> Elixir Livebook で並列画像処理 by @RyoWakabayashi
|> ElixirでOpenCV (evision) を使った画像処理(移動、回転、フィルターなど) by @RyoWakabayashi
|> Livebook + Evision基本編 Evision(OpenCV)でお手軽画像処理 by @the_haigo
⑧統計処理
Elixir の Explorer で主成分分析(PCA)をやってみた by @RyoWakabayashi
|> Elixir Explorer 0.4.0 で追加された Query を使うと、データ分析が更に捗る by @RyoWakabayashi
|> Livebook に散布図と回帰直線を表示する by @RyoWakabayashi
|> Elixir Livebook で地域経済分析システム RESAS から産業構造を取得して分析する by @RyoWakabayashi
|> Elixir Livebook で地域経済分析システム RESAS から人口構成を取得して表、グラフで可視化する by @RyoWakabayashi
⑨Livebook/Nx/Explorer実践編
Livebook から Amazon Athena で S3 上の CSV ファイルに SQL クエリを実行する by @RyoWakabayashi
|> Livebook で AWS S3 のデータを分析したり画像処理したり by @RyoWakabayashi
|> 「Run in livebook」のバッチを記事に載せてlivebookのコードを楽にシェアする by @koga1020
|> 完走賞を目指してみましょう! on Livebook by @RyoWakabayashi
|> Livebook で秘密情報を入力する by @RyoWakabayashi
|> Livebook から Amazon Rekognition の画像 AI を使って物体検出や顔検出、感情分析を行う by @RyoWakabayashi
|> Livebook と Exploler で Qiita の記事データを解析する by @RyoWakabayashi
⑩その他
Windows版 Livebook DesktopのTips by @ShozF
|> エコな環境でのNx勉強と久しぶりのPR by @nagahisa
|> エコな環境でのNx勉強と久しぶりのPR(補足) by @nagahisa
|> NxとNIFの間で相互通信するには by @zacky1972
|> Nx を Evision.Backend で動かす by @RyoWakabayashi
|> Elixir Nx 周辺の更新 by @RyoWakabayashi
|> 「Nxバックエンド勉強会#7」レポート by @torifukukaiou
|> 「LiveView JP#12:はじめてのElixir AI・ML…Livebook+Nxで」レポート by @torifukukaiou
|> 「ElixirImp#26:『Elixir生誕10周年』を締めくくる大LT会」レポート by @torifukukaiou
|> Livebook で kino_benchee (WIP)を動かしてみた by @RyoWakabayashi
|> microsoft/LightGBM(CLI)をElixirから使ってみる by ta_to_jp
|> Elixir microsoft/LightGBM クラス分類を試す by ta_to_jp
|> Kino 0.8 で進化した Livebook のデータテーブル by @RyoWakabayashi
|> Kino 0.8 で追加された Kino.Tree を使って Livebook でツリー表示 by @RyoWakabayashi
Elixir生誕10周年を一緒にお祝いしませんか?
12/21(水)19:30~21:00、「過去LTいただいた方々への感謝祭」をテーマに、リモート忘年会を開催(本コラムも解説します)
「Elixir生誕10周年」に対するコメントや、今/昔のElixirの進化を聞けるチャンスですので、お見逃し無くッ
※カンパイスタートの会ですので、お酒 or ソフトドリンク、お菓子 or ご飯をお忘れなく
※Zoom接続できれば、本人でも、2Dアバター/3D(VR)アバターでも、お好きな姿でご参加OK
明日は、@Alicesky2127 さんで「Elixir Advent Calendar 2022 をほんとの初心者が読んでみた - 執筆の動機と目次」 です