Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
5
Help us understand the problem. What is going on with this article?
@Roe

AWSで実現するMLOps

AWSで実現するMLOps参考リンク

MLOps一般

第1回 MLOps 勉強会 Tokyo (Online)
https://mlops.connpass.com/event/184958/presentation/

機械学習システムの設計パターンを公開します。
https://engineering.mercari.com/blog/entry/ml-system-design/

MLOps – 機械学習モデルの活用、その先にあるチャレンジ Part 2
https://www.datarobot.com/jp/blog/mlops-ml-model-usage-future-issues-part2/

AWSのMLOpsの具体的ソリューション

【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告
https://aws.amazon.com/jp/blogs/news/aws-aiml-tokyo7/
研究実験フェーズと運用フェーズに求められる機械学習基盤の違いを定義している

機械学習エンジニアが直面する課題とその解決策 — ML@Loftで語られた20を超える事例を通して見えてきたもの —
https://pages.awscloud.com/rs/112-TZM-766/images/F-1.pdf

Machine Learning Lens, AWS Well-Architected Framework
https://d1.awsstatic.com/whitepapers/architecture/wellarchitected-Machine-Learning-Lens.pdf

上記の日本語版
https://d1.awsstatic.com/whitepapers/ja_JP/architecture/wellarchitected-Machine-Learning-Lens.pdf

ML Ops on AWS
https://d1.awsstatic.com/events/jp/2018/summit/tokyo/aws/44.pdf

Build An Automated Machine Learning Pipeline On AWS
https://www.cloudreach.com/en/resources/blog/machine-learning-model-aws/

【DeNA】CUS-90:プロダクション環境でフル活用する Amazon SageMaker
https://resources.awscloud.com/vidyard-all-players/cus-90-aws-summit-online-2020-dena

[AWS] AWSCloudFormationでCI/CDパイプライン(CodePipeLine)を構築する
https://qiita.com/is_ryo/items/0382d183f514e0d06f4d
DataScientistは、DockerfileをCodeCommitにPushすると、ImageがECRに保存される。
データは、データエンジニアが用意する。
学習コード、推論コードはデータサイエンティストがCodeCommitにPushする。学習コードをPushしたら学習が、推論コードをPushしたら推論が実行される。(推論を実行する場合は、モデルを登録して、モデルのpathを提示する)

[レポート] SageMakerを使用した機械学習用CI/CDパイプラインの構築 #reinvent #DVC303
https://dev.classmethod.jp/articles/reinvent-dvc303/

Amazon ECR をソースとしてコンテナイメージの継続的デリバリパイプラインを構築する
https://aws.amazon.com/jp/blogs/news/build-a-continuous-delivery-pipeline-for-your-container-images-with-amazon-ecr-as-source/
CodePipeline/CodeDeploy/ECR

【公式】AWS MLOps フレームワーク(2021.1)
https://aws.amazon.com/jp/solutions/implementations/aws-mlops-framework/?nc1=h_ls

【公式ブログ】Architect and build the full machine learning lifecycle with AWS: An end-to-end Amazon SageMaker demo
https://aws.amazon.com/blogs/machine-learning/architect-and-build-the-full-machine-learning-lifecycle-with-amazon-sagemaker/
AWSでの機械学習一連のソリューションが整理されている。

金融向けMLOps

Machine learning best practices in financial services
https://aws.amazon.com/jp/blogs/machine-learning/machine-learning-best-practices-in-financial-services/

上記ブログで紹介されているホワイトペーパー(MLOps)
https://d1.awsstatic.com/whitepapers/machine-learning-in-financial-services-on-aws.pdf
【日本語版】
https://d1.awsstatic.com/whitepapers/ja_JP/machine-learning-in-financial-services-on-aws.pdf

上記ブログで紹介されているホワイトペーパー(システム全般)
https://d1.awsstatic.com/whitepapers/architecture/wellarchitected-Financial-Services-Industry-Lens.pdf

金融 white paper にある、CodeBuildからCFn、SFnをどう実行するか

ECSのCI/CD環境をCodePipelineに変えた話
https://cam-inc.co.jp/p/techblog/405624087101047961

1. データサイエンティスト支援のためのMLOps

分散処理

パラーメーターサーバー方式とHorovod方式
https://aws.amazon.com/jp/blogs/news/launching-tensorflow-distributed-training-easily-with-horovod-or-parameter-servers-in-amazon-sagemaker/

下に記載がある。 Sharding data: in this example we used one large TFRecord file containing the entire CIFAR-10 dataset, which is relatively small. However, larger datasets might require that you shard the data into multiple files, particularly if Pipe Mode is used (see below). Sharding may be accomplished by specifying an Amazon S3 data source as a manifest file or ShardedByS3Key.

データのシャーディング: この例では、CIFAR-10データセット全体を含む1つの大きなTFRecordファイルを使用しましたが、これは比較的小さいものです。しかし、より大きなデータセットでは、特にパイプモードを使用している場合には、複数のファイルにデータをシャーディングする必要があるかもしれません(後述)。シャードは、マニフェストファイルまたはShardedByS3KeyとしてAmazon S3データソースを指定することで実現できます。

https://docs.aws.amazon.com/ja_jp/sagemaker/latest/APIReference/API_S3DataSource.html
ShardedByS3Key方式

2. 本番運用のためのMLOps

簡単なデモサイトを作る

AWS Lambda + API Gateway + S3 で簡易Webアプリケーションを作成
https://www.datastadium.co.jp/engineer/e-reports/5245

ハンズオン

【公式】AWS MLOps Framework(英語)
https://aws.amazon.com/jp/solutions/implementations/aws-mlops-framework/?nc1=h_ls

Code シリーズ入門ハンズオンを公開しました!- Monthly AWS Hands-on for Beginners 2020年8月号
https://aws.amazon.com/jp/blogs/news/aws-hands-on-for-beginners-10/

CI/CD環境構築ハンズオン
https://classmethod.github.io/ci-cd-hands-on-ecs/

ContainerImage:
    Description: Please enter container image for ECS.
    Type: String
    Default: 738965884675.dkr.ecr.ap-northeast-1.amazonaws.com/ci-cd-hands-on:node

CFnテンプレート内の上記がもう存在しないため最初のCFn作成でCreatingのままスタックして進まないが、
流れの説明は読むと参考になる。

上記作者の記事
https://dev.classmethod.jp/articles/understanding-codebuild/

CodeBuildを身近にするためのはじめの一歩
https://www.slideshare.net/ssuser8125c5/codebuild-82151957

Amazon Sagemaker MLops (with classic CI/CD tools) Workshop
https://github.com/awslabs/amazon-sagemaker-mlops-workshop

【公式】AWS CI/CD WORKSHOP
https://aws-ci-cd.workshop.aws/

エッジデバイス側でのMLOps

【レポート】CUS-91:Edge Deep Learning におけるMLOps #AWSSummit
https://dev.classmethod.jp/articles/aws-summit-online-2020-session-report-cus-91/

MLプロジェクトマネジメント

Managing Machine Learning Projects
https://d1.awsstatic.com/whitepapers/aws-managing-ml-projects.pdf

モデル精度の監視

SageMaker Model Monitor
モデル学習時のデータ(過去)と、現在推論に使っているデータの性質が同じかを監視する。
特徴量生成には、Deequを利用している

【公式blog】Amazon SageMaker Model Monitor を活用したデータドリフト検知の解説
https://aws.amazon.com/jp/blogs/news/detect-data-drift-with-amazon-sagemaker-model-monitor/

GitHub
https://github.com/awslabs/deequ

参考

MLOps: 機械学習における継続的デリバリーと自動化のパイプライン
https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja

MLSE 機械学習基盤 本番適用と運用の事例・知見共有会
https://www.youtube.com/watch?v=nNFCc3nowfg

5
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Roe
AWS使ってる分析屋。日々の試行錯誤の個人的メモ。 書かれている内容は個人の見解であり、所属団体を代表するものではありません。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
5
Help us understand the problem. What is going on with this article?