Azure AI Services:生成AI・検索AI・言語AIの統合プラットフォーム
体系的学ばないと点の知識が線でつながらない…
、と言うことで AI900 に関連するサービスを体系図(ツリー)にしてみました。自分は、約1ヵ月の学習で無事 AI900 に合格することが出来ました。平日は40分、土日に2~3時間の学習で8割 Udemy の模擬テストとあとは Microsoft Lean で AIの基礎を学習。その学習過程でどうも 類似機能 の説明が頭に入らず悩んだあげく体系的に理解できていないと感じ色々参考資料を探したがいいものが見つからなかったので自分で作成してみました。(ChatGPT に相談しながら)
【言語・音声系】
│
├─ Azure AI Language(旧 LUIS / Text Analytics)
│ ├─ エンティティ認識:文章の中から人名、場所、組織、数量など意味ある語句分類
│ ├─ 個人および健康データ情報の検出:個人情報を検出しマスク処理やラベリングを実施
│ ├─ 言語検出:言語を検出
│ ├─ 感情分析:テキストを分析して肯定的または否定的な感情を識別
│ ├─ 要約:文章の要約
│ ├─ キー フレーズの抽出:文章中から「主要な語句・トピック」を抽出
│ ├─ ヘルスケア向けテキスト分析:医療文書から病名・症状・薬剤などの医療情報を抽出
│ ├─ カスタムテキスト分類:定義したカテゴリに合わせて分類
│ ├─ カスタム固有表現認識:契約書・金融文書などから、定義したエンティティを抽出
│ ├─ 会話言語理解:発話から意図 を予測し「重要な情報」を抽出
│ ├─ オーケストレーション:プロジェクトを 一つのワークフローに接続・統合
│ └─ 質問応答:「自然言語での質問」に対して最適な回答
│
├─ Azure AI Speech(旧 Speech Services)
│ ├─ 音声テキスト変換(Speech-to-Text):音声のテキスト化
│ ├─ テキスト読み上げ(Text-to-Speech):テキストの音声化
│ ├─ 音声翻訳:音声を一度テキストに変換して翻訳し、テキストまたは音声で出力
│ ├─ 言語識別:言語識別
│ └─ 発音評価:「発音の正確さ」「流暢さ」「完全性)」などをスコア化
│
├─ Azure AI Translator(旧 Translator Text API)※ テキスト翻訳専用
│ ├─ テキスト翻訳:テキストの翻訳
│ ├─ ドキュメント翻訳:複数ページ形式の文書をフォーマットを維持しながら自動翻訳
│ └─ カスタム翻訳:自社専用の用語やスタイルを反映した「オーダーメイド翻訳モデル」
│
├─ Azure AI Document Intelligence(旧 Form Recognizer)
│ ├─ ドキュメント分析モデル:請求書・契約書などから、テキスト・項目を自動抽出
│ ├─ 事前構築済みモデル:学習不要ですぐに請求書・身分証などの情報を自動抽出
│ └─ カスタム モデル:企業独自の帳票やテンプレートに対応
│
├─ Azure AI Search(旧 Cognitive Search)
│ ├─ エージェント検索:エージェントが質問を理解し最適な検索戦略を自動で検索
│ ├─ ベクター検索:ベクトル化した文章や画像からベクトルが近いものを抽出
│ ├─ フルテキスト検索:「文字や単語」を対象に完全一致・部分一致で探す検索
│ ├─ マルチモーダル検索:テキスト・画像・音声・動画など 複数形式の入力で情報検索
│ └─ ハイブリッド検索:「フルテキスト検索」+「ベクター検索」を組み合わせた検索
│
【画像・映像系】
│
├─ Azure AI Vision(旧 Computer Vision)
│ ├─ 画像分析(Image Analysis)
│ │ ├─ 人物検出:人や姿勢を検出・カウント
│ │ ├─ キャプション生成:画像内容を自然文で説明
│ │ ├─ オブジェクト検出:物体の種類と位置を特定
│ │ ├─ タグ付け:画像の特徴をキーワードとして自動付与
│ │ ├─ 関心領域の抽出:構図の中心領域を自動検出
│ │ ├─ ブランド検出:企業ロゴや商品ブランドを識別
│ │ ├─ 画像の分類:親/子で引き継がれる階層を備えたカテゴリを分類してタグ付け
│ │ ├─ 顔検出:画像中の顔を検出
│ │ ├─ 画像種類検出:写真/線画/クリップアートなどを分類
│ │ ├─ 有名人や名所の検出:著名人を特定、有名建築・名所を識別
│ │ ├─ 配色検出:主要色・背景色・前景色を抽出
│ │ └─ 不適切コンテンツ検出:暴力・性的画像の検出
│ │
│ └─ OCR(OCR):印刷/手書きからテキスト抽出
│ └─ ビデオ分析:フレーム単位での物体検出、タグ生成、顔検出、色・カテゴリ、OCR
│
├─ Azure AI Custom Vision(旧 Custom Vision)
│ └─ カスタム画像分類(Image classification):オリジナルの画像分類
│ └─ 物体検出(Object detection):オリジナルの物体検出
│
├─ Azure AI Face(旧 Face API)
│ ├─ 顔検出・分析(Face detection and analysis):枠/特徴点
│ ├─ 似た顔の検索(Find similar faces):ターゲットの顔を候補の顔のセットと照合
│ ├─ 顔のグループ化(Group faces):類似性に基づいて複数のグループに分け
│ ├─ 顔識別(Identification):1対多識別
│ ├─ 顔検証(Face recognition operations):1対1
│ └─ 生体検知(Liveness detection):なりすまし対策
│
├─ Azure AI Video Indexer(旧 Video Indexer)
│ ├─ 複数言語の音声識別と文字起こし:文字起こしが 1 つの統合された文字起こしに結合
│ ├─ 顔検出:動画内の顔を検出し同一人物をグループ化
│ ├─ 有名人識別:世界中の著名人を特定し外部データベースと照合
│ ├─ アカウントベースの顔識別:アカウント専用モデルで登録人物を識別
│ ├─ 人物追跡:動画内の人物を検出し位置や登場時間を追跡
│ ├─ 音声文字起こし:音声を50以上の言語で文字起こし
│ ├─ 言語検出:音声内で主に使われている言語を特定
│ ├─ ノイズ除去:録音ノイズを軽減して音声を明瞭化
│ └─ 翻訳(Translation):文字起こし結果を複数言語に翻訳
│
【基盤・統合(下層)】
│
├─ Azure Machine Learning
│ ├─ 学習/評価/デプロイ(MLOps)
│ ├─ パイプライン / AutoML / SDK
│ └─ データ前処理・モデル管理
│
├─ Azure OpenAI Service
│ ├─ 生成:要約/対話/コード生成
│ └─ RAG連携:Search/DB統合
│
├─ Azure AI Bot Service(旧 Bot Framework / QnA Maker)
│ └─ 会話ボット:チャネル連携/ホスティング
│
└─ Azure AI Content Safety
└─ テキスト/画像の安全性フィルタ
責任ある AI の基本原則
├─ 公平性:AIの判断が特定の人に不利に働かないようにする
├─ 信頼性と安全性:誤作動やリスクを最小化
├─ プライバシーとセキュリティ:プライバシー保護を徹底
├─ 包括性:誰もが利用できる設計
├─ 透明性:すべての人が使いやすく恩恵を受けられるように設計する
└─ アカウンタビリティ:システムがどのように動作するかについて説明責任