Spring'25アップデートにより、プロンプトビルダーの一部のLLMは、画像やPDFファイルのインプットに対応しました。

本記事では、マルチモーダルAIの中でも画像ファイルを使用する 18個のユースケース について、具体的なプロンプト例と出力例と共に、ビジネス活用の可能性を探ります。

汎用ユースケース（6個）

１. ラベル検出
２. タグ付け
３. OCR/IDP
４. 数値の読み取り
５. オブジェクト検出
６. 感情分析

業種別ユースケース（12個）

農業
- ７. 農作物の生育モニタリング
消費財メーカー
- ８. 商品棚の店頭調査
小売
- ９. 商品棚の改善
- １０. お店の混雑状況可視化
不動産
- １１. 売り物件の紹介文作成
建設、製造
- １２. 安全管理
- １３. 検品
- １４. 設備保全
保険
- １５. 自動車事故の状況把握
公共サービス
- １６. インフラの異常検知
- １７. ごみの分別
ヘルスケア
- １８. 肌診断

検証方法

すべてプロンプトビルダー上でテストしています。

プロンプトテンプレートの設定

リソース
- ファイルオブジェクト(ContentDocument)
モデル
- 標準: Google Gemini 2.0 Flash
応答言語設定
- 日本語

検証の仕方

テスト画像
- すべてPexelsの画像を使用 https://www.pexels.com/
テスト方法
- プロンプトビルダー上でプレビュー

汎用ユースケース

まずは業種問わず、様々な業務での活用が期待できる汎用的なユースケースです。

１. ラベル検出

画像に何が写っているか？AIが自動で認識し、関連性の高いラベルを抽出してくれます。

プロンプト

この写真から関連するラベルをできるだけ多く検出して
写っているもの、場所、状況、雰囲気など、写真から読み取れるあらゆる情報をラベルとしてリストアップして
リストアップしたラベルを以下のようなJSONで返答して

期待するJSON例: {items: ["ラベル1", "ラベル2", "ラベル3"]}

JSON:

テスト画像

https://www.pexels.com/ja-jp/photo/3943882/

　↓　 ↓　 ↓

結果

{
    "items": ["空港", "女性", "マスク", "旅行", "荷物", "チェックイン", "出発ゲート", "標識", "椅子", "ヘッドフォン", "公共交通機関", "屋内"]
}

２. タグ付け

写真の内容を表す言葉（タグ）をAIが自動で付けてくれます。

プロンプト

この写真をFacebookやInstagramに投稿する際につけるタグを考えて
写真の内容にふさわしい目を引くタグ候補をいくつかリストアップして
リストアップしたタグを以下のようなJSON文字列だけ返答して

期待するJSON例: {items: ["タグ1", "タグ2", "タグ3"]}

JSON:

テスト画像

https://www.pexels.com/ja-jp/photo/3943882/

　↓　 ↓　 ↓

結果

{
    "items": ["#空港", "#旅行", "#旅", "#旅行好きな人と繋がりたい", "#海外旅行", "#空港での待ち時間", "#旅行写真", "#一人旅", "#旅行好き", "#旅行の思い出"]
}

３. OCR/IDP

紙に書かれた文字や、写真の文字をAIが文字起こししてくれます。

プロンプト

画像からテキストを抽出し、可能な限り正確に書き起こして
手書き文字と印刷文字を区別し、不明な部分は推測と注釈を入れて

テスト画像

https://www.pexels.com/ja-jp/photo/2019-1937337/

　↓　 ↓　 ↓

結果

承知いたしました。画像からテキストを抽出し、可能な限り正確に書き起こし、参考情報として日本語訳を入れます。不明な部分は推測と注釈を入れます。

手帳の表紙

テキスト: Hello 2019
日本語訳: こんにちは 2019年

手帳の中身

MONDAY (月曜日) Jan 14 (1月14日)
TUESDAY (火曜日) Jan 15 (1月15日)
- edit 2019 Suites (2019年スイートを編集)
- need more text (もっとテキストが必要)
- cards for Cherry (チェリーのカード)
- 16 fud (16ファッジ)
WEDNESDAY (水曜日) Jan 16 (1月16日)
- Past OV dallas event (過去のOVダラスイベント)
- Fix square cover img (正方形のカバー画像を修正)
- Record “ADD” line (「ADD」行を記録)
THURSDAY (木曜日) Jan 17 (1月17日)
- Imax email (アイマックスのメール)
- Send off animatron (アニメーションを送信)
- Treasures influencer posts (宝物インフルエンサーの投稿)
- Finish Envison BC draft (Envison BC草案を完成)
SATURDAY (土曜日) Jan 19 (1月19日)
SUNDAY (日曜日) Jan 20 (1月20日)
MONDAY (月曜日)
- Meet w/Amber 3pm (アンバーと午後3時に会う)
TUESDAY (火曜日)
WEDNESDAY (水曜日)
- draft Envision business cards (Envision名刺の下書き)
- Meet w/Lindsay gift boxes? (リンジーとギフトボックスの打ち合わせ？)
THURSDAY (木曜日)
- DALLAS (ダラス)
FRIDAY (金曜日)
- ART museum (美術館)
- have all invite suites edited!! (招待スイートはすべて編集済み)
SAT/SUN (土日)
- fly back! (帰国)
- *Check in for flight! (フライトのチェックイン)
- OVdallas yoga event@ 9:00am (OVダラスヨガイベント午前9時)

注釈:

"fud" の正確な意味は不明です。
"Record "ADD" line" の ADD は、何の略であるかは不明です。

４. 数値の読み取り

メーターや画面の数字を、AIが写真から読み取ります。読み取った値を別システムに連携するもできそうです。

プロンプト

写真に表示されている全てのメーターの項目と値を単位付きで抽出して
以下のようなjson文字列で返して

期待するJSON例:
{"items": [{"field": "温度", "value": "20.3℃"}, {"field": "湿度", "value": "33.1％"}]}

JSON:

テスト画像

https://www.pexels.com/ja-jp/photo/32079709/

　↓　 ↓　 ↓

結果

{
    "items": [
        {"field": "CO2", "value": "824 ppm"},
        {"field": "Noise", "value": "36 dB"},
        {"field": "RH", "value": "44.1 %"},
        {"field": "PM2.5", "value": "12 µg/m³"},
        {"field": "Temp", "value": "24.0 ℃"},
        {"field": "PM10", "value": "12 µg/m³"},
        {"field": "eTVOC", "value": "93 VOC Index"}
    ]
}

５. オブジェクト検出

特定の対象物の位置（ピクセル数）を教えてくれます。

プロンプト

写真に写っているコーヒーカップの写真上の座標(x,y,w,h)をすべてリストアップして
JSON文字列で返答して

JSON:

テスト画像

https://www.pexels.com/ja-jp/photo/2074130/

　↓　 ↓　 ↓

結果

[
  {"x": 204, "y": 177, "w": 74, "h": 74},
  {"x": 521, "y": 203, "w": 73, "h": 73},
  {"x": 917, "y": 201, "w": 73, "h": 73},
  {"x": 270, "y": 596, "w": 74, "h": 74},
  {"x": 715, "y": 703, "w": 73, "h": 73}
]

６. 感情分析

写真に写った人の顔を見て、どんな気持ちかを推測してくれます。人の反応を言語化することで、サービス改善に繋げられます。

プロンプト

写真に写っている全員について、現在の感情状態を可能な限り詳細に推測し、それぞれの人物ごとにリストアップして
感情の強さ（例：強い喜び、かすかな悲しみなど）も可能であれば含めて

テスト画像

https://www.pexels.com/ja-jp/photo/3812743/

　↓　 ↓　 ↓

結果

写真に写っている人物の感情状態の推定は、以下の通りです。

1人目：冷静
2人目：喜び
3人目：驚き
4人目：恥ずかしさ
5人目：不満
6人目：思慮深さ
7人目：激怒
8人目：拒絶
9人目：苛立ち
10人目：茫然自失
11人目：怒り
12人目：恐怖
13人目：苦悩
14人目：激怒
15人目：無関心
16人目：落胆
17人目：満足
18人目：おどけ
19人目：沈黙
20人目：苦痛
21人目：ふざけ
22人目：幸福
23人目：憂鬱
24人目：衝撃
25人目：心配

業種別ユースケース

ここからは業種固有のユースケースです。

７. 【農業】農作物の生育モニタリング

畑、農作物の写真から、生育状態、病気の兆候などを推測します。

プロンプト

農作物の写真を詳細に分析し、以下を具体的に教えて

現在の生育状態: 作物の健康度、葉の色や形、茎の状態、病害虫や病気の具体的な兆候、栄養状態などを詳しく
考えられる示唆: 観測された生育状態の主な原因として何が考えられるか（例：特定の病害虫の初期症状、特定の栄養素の欠乏、水分過多・不足など）、および今後発生しうる具体的なリスク（例：収量減少、品質低下、病害の拡大など）を推測
推奨されるアクション: 現在の生育状態と示唆されるリスクに基づき、取るべき具体的な対策（例：使用を検討すべき農薬・肥料の種類、追肥の量やタイミング、水やり頻度の調整、剪定の要否など）を具体的に提案して

回答は箇条書きまたは段階的に記述して

テスト画像

https://www.pexels.com/ja-jp/photo/3658482/

　↓　 ↓　 ↓

結果

トウモロコシの作物の写真に関する分析を以下に示します。

現在の生育状態

トウモロコシの実は成熟しており、粒も十分に発達しているように見えます。
外皮の色は緑色で、新鮮さを保っているようです。
絹糸は茶色く乾燥しており、受粉が完了していることを示唆しています。
葉や茎に目立った病害虫の兆候は見当たりません。
全体的に健康状態は良好であると判断できます。

考えられる示唆

現在の状態から、適切な時期に受粉が行われたと考えられます。
特に問題がない場合、このまま収穫期を迎えることが予想されます。
今後のリスクとしては、収穫前の鳥獣害や、急な気候変動による品質低下などが考えられます。

推奨されるアクション

収穫時期を見極めるために、実の水分量や硬さを定期的に確認することをお勧めします。
鳥獣害対策として、防鳥ネットの設置や忌避剤の使用を検討してください。
収穫直前の降雨による品質低下を防ぐために、排水対策を再度確認することが望ましいです。

８. 【消費財メーカー】商品棚の店頭調査

メーカーによる店頭調査にて、商品棚の写真から棚割データを取得します。

プロンプト

【分析対象の自社製品： Africafe 】
店舗の商品棚の画像を分析して、メーカー目線で下記をまとめて

棚にある商品ジャンル/カテゴリ
全体構成とスペース割合
具体的な製品名、ブランド、シリーズを特定できるだけ特定して（文字情報と形状から判断）
主要製品、棚シェア割合（％でなくても相対的な割合でOK）

棚の強み/弱み、競合との関係性、改善点など考察して

テスト画像

https://www.pexels.com/ja-jp/photo/8766369/

　↓　 ↓　 ↓

結果

分析結果は次のとおりです。

棚にある商品ジャンル/カテゴリ

インスタントコーヒー
粉コーヒー
豆コーヒー
紅茶

全体構成とスペース割合

棚は5段構成です。上から順に、
1段目：インスタントコーヒー（袋）
2段目：インスタントコーヒー（缶）
3段目：豆コーヒー（袋）
4段目：豆コーヒー（袋）
5段目：粉コーヒー（缶）

主要製品は、1段目と5段目に配置されているインスタントコーヒーと粉コーヒーです。棚のスペースの大部分を占めています。

具体的な製品名、ブランド、シリーズ

Africafe（自社製品）
- インスタントコーヒー（袋、缶）
- 粉コーヒー（缶）
Dormans
- インスタントコーヒー（缶）
- デカフェインスタントコーヒー（缶）
CAFÉ AMIMZA
- インスタントコーヒー（缶）
Afrimates
KILIMANJARO
- 豆コーヒー（袋）
Kericho Gold
- 紅茶

主要製品、棚シェア割合

主要製品：Africafeのインスタントコーヒーと粉コーヒー
棚シェア割合：
- Africafe：約40%
- Dormans：約20%
- CAFÉ AMIMZA：約10%
- KILIMANJARO：約20%
- その他（Afrimates、Kericho Gold）：約10%

考察

強み：
- 主要製品であるAfricafeのインスタントコーヒーと粉コーヒーが、棚の大部分を占めている。
- インスタントコーヒー、粉コーヒー、豆コーヒーと、幅広い製品ラインナップをそろえている。
弱み：
- 競合ブランドであるDormansのインスタントコーヒー（缶）に比べて、デカフェ製品がない。
競合との関係性：
- Dormansは、インスタントコーヒー（缶）で競合している。
- KILIMANJAROは、豆コーヒー（袋）で競合している。
改善点：
- Dormansに対抗するために、デカフェのインスタントコーヒーを開発する。
- KILIMANJAROに対抗するために、豆コーヒーの種類を増やす。
- 棚の配置を見直し、Africafe製品の視認性を高める。

９. 【小売】商品棚の改善

同じ商品棚でも、店舗視点では見るポイントが異なります。お店の売上向上、顧客満足度向上につながる改善提案をしてくれます。

プロンプト

あなたは売上を伸ばすための店舗の棚割り最適化のプロ
現状の棚割りの写真をもとに、以下の点を分析し、具体的なネクストアクションを提案して

現状の良い点と改善が必要な点
売上向上や顧客満足度向上のための具体的な改善案（商品の配置変更、POPの追加・修正など）
優先的に取り組むべきアクションとその理由

テスト画像

https://www.pexels.com/ja-jp/photo/8766369/

　↓　 ↓　 ↓

結果

承知いたしました。コーヒー売り場の棚割りを最適化するために、現状分析と具体的な改善策をご提案します。

現状の良い点

商品の種類が豊富で、顧客の選択肢が多い。
ブランドごとに商品をまとめて配置し、視認性を高めている。

改善が必要な点

棚割りに統一感がなく、雑然とした印象を与える。
商品の配置が偏っており、売れ筋商品が目立っていない可能性がある。
POPや説明書きが不足しており、商品の魅力が十分に伝わっていない。

売上向上、顧客満足度向上のための具体的な改善案

棚割りの基本レイアウト設計:
- 売れ筋商品をゴールデンゾーン（目の高さから腰の高さ）に配置する。
- 関連性の高い商品を近くに配置する（例：ドリップコーヒーとフィルター、インスタントコーヒーと砂糖）。
- 商品の種類や価格帯ごとにエリアを分け、顧客が比較検討しやすいようにする。
視覚的な訴求力の強化:
- ブランドロゴや商品名が目立つように、正面を向けて商品を陳列する。
- カラフルなパッケージの商品を効果的に配置し、売り場全体の彩度を高める。
- 照明を調整し、商品を明るく照らす。
情報提供の充実:
- 商品の特徴や魅力を伝えるPOPを設置する（例：テイスティングノート、おすすめの飲み方）。
- 原産国や製法などの情報を記載した説明書きを追加し、商品の付加価値を高める。
- キャンペーンやセール情報を告知するPOPを目立つ場所に設置する。
顧客導線の最適化:
- 通路幅を確保し、顧客がスムーズに移動できるようにする。
- 立ち止まって商品を見やすいように、棚の前にある程度のスペースを確保する。
- 試飲コーナーやおすすめ商品のコーナーを設置し、顧客の興味を引く。
商品配置の変更:
- 画像の棚では、KILIMANJAROブランドのコーヒー豆のパッケージデザインが豊富です。これらの商品をまとめて陳列し、デザインの違いを強調することで、顧客の興味を引くことができます。
- Africaféブランドの商品は、インスタント、粉、豆と種類があります。これらの商品をまとめて陳列し、ブランドイメージを統一することで、顧客の認知度を高めることができます。
欠品防止の徹底:
- 定期的に在庫を確認し、欠品がないように補充する。
- 特に売れ筋商品は、十分な在庫を確保する。
- 欠品が発生した場合は、速やかに補充する。

優先的に取り組むべきアクションとその理由

棚割りの基本レイアウト設計:
- 売れ筋商品をゴールデンゾーンに配置することで、顧客の目に留まりやすくなり、購買意欲を高めることができます。
視覚的な訴求力の強化:
- 商品のパッケージを正面に向けて陳列することで、ブランドロゴや商品名が目立ちやすくなり、顧客の認知度を高めることができます。
POPの追加:
- 商品の特徴や魅力を伝えるPOPを設置することで、顧客の商品理解を深め、購買意欲を高めることができます。

これらのアクションは、比較的簡単に実施でき、効果も期待できるため、優先的に取り組むことをおすすめします。

ご不明な点等ございましたら、お気軽にお尋ねください。

１０. 【小売】お店の混雑状況可視化

お店の混雑具合を教えてくれます。人員配置を考えたり、混雑状況をお伝えするのに役立ちます。

プロンプト

店内の写真から、現在の店舗の混雑状況を可能な限り詳細に分析し、その結果に基づいて10段階で評価して

分析項目：

店内にいるおおよその人数: 写真に写っている人数を概算して
客層: 一人で来店している人、複数人のグループ、家族連れなど、判別できる範囲でどのような客層が多いか
エリア別の混雑状況: レジ周辺、特定の商品棚エリア、通路、飲食スペースなど、写真で確認できる主要なエリアごとの人の密集具合や混雑度
通路の通りやすさ: 通路が広く確保されているか、人が多くて通りにくいかなど、店内を移動する際の容易さ
待機列の有無と長さ: レジ、試着室、サービスカウンターなどで待機列ができているか確認し、できている場合はおおよその人数
全体の雰囲気: 店全体が賑わっているか、比較的静かかなど、写真から感じる雰囲気

テスト画像

https://www.pexels.com/ja-jp/photo/2159074/

　↓　 ↓　 ↓

結果

承知いたしました。店舗の混雑状況について、写真から分析します。

分析項目

店内にいるおおよその人数: 20人程度
客層: 一人で来店している人、複数人のグループなど、多様な客層が見られます。家族連れの有無は判別できません。
エリア別の混雑状況:
- レジ周辺: 注文待ちの客が数人おり、やや混雑しています。
- 商品棚エリア: 人は少ないようです。
- 通路: 人が複数いるものの、通行は可能と見られます。
- 飲食スペース: 席には人が座っており、ある程度の利用があります。
通路の通りやすさ: 通路幅は確保されているように見えますが、人がいるため、やや通りにくい可能性があります。
待機列の有無と長さ: レジに数人の待機列が見られます。
全体の雰囲気: 賑わっている印象を受けます。

10段階評価

総合的な混雑状況: 6/10

１１. 【不動産】売り物件の紹介文作成

プロンプト

写真の売り物件について、下記の要素を含んだ、思わず買いたいと思わせる魅力的な紹介文を作成して

物件の概要: 間取り、広さ、築年数など
写真から読み取れる魅力: (例: 明るいリビング、眺めの良いバルコニー、おしゃれなキッチンなど)
周辺環境: (写真から推測できる範囲で。例: 公園が近い、日当たりが良いなど)
顧客層への訴求ポイント: 子育て世代向け、共働き夫婦向け、シニア層向け
キャッチーな見出し:
具体的な行動を促す一文: (例: ぜひ一度内見にお越しください、お気軽にお問い合わせくださいなど)

テスト画像

https://www.pexels.com/ja-jp/photo/186077/

↓　 ↓　 ↓

結果

承知いたしました。売り物件の紹介文を作成します。

【新着物件】憧れの邸宅で、心豊かな暮らしを

堂々とした佇まいが魅力的な一戸建て。間取りや広さなどは不明ですが、ゆとりのある空間が期待できます。

写真から読み取れる魅力

明るい光が差し込む窓
広々とした芝生の庭
落ち着いた色合いの外観

周辺環境

閑静な住宅街に位置し、穏やかな暮らしが実現できそうです。近隣には公園もあるかもしれません。

おすすめの顧客層

子育て世代のご家族や、ゆったりとしたセカンドライフを送りたいシニア層に最適です。

ぜひ一度、現地にて実際の雰囲気をご体感ください。お問い合わせをお待ちしております。

１２. 【建設】【製造】安全管理

事故を未然に防ぐことで、安全を確保します。

プロンプト

現場写真を分析し、以下の安全違反が写っているかどうか確認して

作業員のヘルメットまたは安全ベストの未着用
危険区域（立ち入り禁止エリア）への作業員の立ち入り
明らかに危険と思われる作業行動（例: 手袋なしで鋭利なものを扱う、無理な姿勢で重いものを持つなど）

もし安全違反を検出した場合、検出された内容と、写真内の該当箇所を簡単に示して
違反が見つからなかった場合は、「安全違反は検出されませんでした」と報告して

テスト画像 #1

https://www.pexels.com/ja-jp/photo/15610948/

　↓　 ↓　 ↓

結果

確認しました。以下の安全違反が検出されました。

作業員がヘルメットを着用していません。
作業員が安全ベストを着用していません。
火花が飛散する作業において、適切な保護具（目の保護具など）が使用されていません。

テスト画像 #2

https://www.pexels.com/ja-jp/photo/1108101/

　↓　 ↓　 ↓

結果

確認させていただきました。写真に写っている現場において、安全違反は検出されませんでした。

１３. 【製造】検品

傷がないか、不良品が混ざってないかなどをチェックすることで、不良率を削減します。

プロンプト

添付画像に写っている製品の中から、以下のいずれかに該当する不良品がないか確認して

傷、ひび割れ、欠け
- 製品全体の変形やゆがみ
- 目立つ色ムラや異常な変色
- 異物（ホコリ、汚れなど）の付着
- （もし製品の種類が分かれば追記：例：）部品の欠落や組み立てミス

不良品が見つかった場合は、その製品が画像のどこにあるか、どのような不良が見られるか具体的に教えて

テスト画像

https://www.pexels.com/ja-jp/photo/5497998/

　↓　 ↓　 ↓

結果

画像を確認した結果、現時点では、ご指摘の不良品（傷、ひび割れ、欠け、変形、ゆがみ、色ムラ、変色、異物、部品の欠落、組み立てミス）は確認できません。

テスト画像

https://www.pexels.com/ja-jp/photo/4417766/

　↓　 ↓　 ↓

結果

添付画像に写っている製品を確認しました。

画像の中央付近にある缶に、変形が認められます。他の缶と比較して、全体的なゆがみや潰れが目立ちます。

１４. 【製造】設備保全

故障、事故を未然に防ぎ、適切なメンテナンスにつなげます。

プロンプト

あなたは熟練の設備保全エンジニア
送信された製造装置の画像を分析し、以下の項目を検出して

異常箇所の座標（x,y,w,h）（単位はピクセル）
部品の名前: 画像から判断できる範囲内で
異常種類（漏油/振動/腐食/断線）
緊急度（A:即時停止～C:経過観察）
推奨対応策

出力形式：箇条書き

テスト画像

https://www.pexels.com/ja-jp/photo/11925477/

　↓　 ↓　 ↓

結果

異常箇所の座標: (43, 41, 313, 121)
- 部品の名前: フランジ
- 異常種類: 腐食
- 緊急度: C
- 推奨対応策: 経過観察、定期的な防錆処理の検討
異常箇所の座標: (114, 148, 256, 237)
- 部品の名前: バルブ本体
- 異常種類: 腐食
- 緊急度: C
- 推奨対応策: 経過観察、必要に応じて塗装
異常箇所の座標: (36, 573, 350, 103)
- 部品の名前: フランジ
- 異常種類: 腐食
- 緊急度: C
- 推奨対応策: 経過観察、定期的な防錆処理の検討

１５. 【保険】自動車事故の状況把握

交通事故現場の写真から事故状況、被害状況などをAIが素早く判断します。

プロンプト

あなたは自動車保険の事故分析AI
提供された自動車事故画像を分析し、以下の情報をマークダウン形式で報告して
不明な点は「画像からは判断困難」と記載して

分析項目:

車両損傷: 損傷部位（パーツごと）、種類、程度の詳細
走行・安全性: 走行可否、安全装備の作動状況（推測）、その他特記事項
初期対応: 緊急度、レッカー・代車必要性
損害概況: 損害額・修理期間の概算、要交換部品、修理/買替検討の必要性
その他: 専門家として気づいた特記すべき点

テスト画像

https://www.pexels.com/ja-jp/photo/163016/

　↓　 ↓　 ↓

結果

以下に、ご提供いただいた自動車事故画像の分析結果を報告いたします。

車両損傷:
- 赤色車両:
  - 損傷部位: フロントバンパー、ボンネット、フロントガラス
  - 種類: 破損、変形、亀裂
  - 程度: 中程度から重度
- 黄色車両:
  - 損傷部位: リアバンパー、バックドア
  - 種類: 変形、破損
  - 程度: 中程度
走行・安全性:
- 走行可否: 不明。両車両とも自力走行は困難である可能性が高い
- 安全装備の作動状況（推測）: 赤色車両のエアバッグが作動している
- その他特記事項: ガラスの飛散が広範囲に及んでいる
初期対応:
- 緊急度: 中程度。負傷者の有無による
- レッカー・代車必要性: 両車両とも必要
損害概況:
- 損害額・修理期間の概算: 不明。ただし、広範囲にわたる損傷のため、高額になる可能性がある
- 要交換部品: フロントバンパー、ボンネット、フロントガラス、リアバンパー、バックドアなど
- 修理/買替検討の必要性: 赤色車両は、損傷の程度から買替の検討が必要となる可能性もある
その他:
- 画像から、衝突実験である可能性が考えられます。

１６. 【公共サービス】インフラの異常検知

道路や橋、トンネルなどの写真をAIが見て、ひび割れがないか、壊れていないかなどを早期に見つけます。

プロンプト

あなたは道路、橋、トンネル、その他公共設備に関する不具合や異常を示す写真を分析するプロ
画像を分析し、以下の項目を考えて

分析項目:

状況の詳細分析: 写真から読み取れる異常の種類、規模、位置など、具体的な状況を記述
考えられるリスク: 安全性、構造、二次的、機能的といった様々な観点から考えられるリスクを示唆
推奨されるアクション: 状況とリスクに基づき、対応の緊急度や具体的な内容を含めて提案

出力形式：箇条書き

テスト画像

https://www.pexels.com/ja-jp/photo/32103381/

　↓　 ↓　 ↓

結果

承知いたしました。以下に、ご提示いただいた写真の分析結果を示します。

状況の詳細分析:
- 道路に複数のひび割れが確認できます。
- ひび割れの規模は大小様々で、路面全体に散見されます。
- ひび割れの場所は、写真に写っている範囲の道路全体に広がっています。
考えられるリスク:
- 安全性: ひび割れが原因で、バイクや自転車が転倒する可能性があります。歩行者もつまずく危険性があります。
- 構造: ひび割れが拡大すると、路面の劣化が進み、道路全体の構造に影響を及ぼす可能性があります。
- 二次的: 雨水がひび割れから浸入し、路盤を弱体化させる可能性があります。冬季には凍結による路面の膨張・収縮を招き、ひび割れが悪化する恐れがあります。
- 機能的: ひび割れにより、車両の走行が不安定になる場合があります。
推奨されるアクション:
- 緊急度: 中程度。早期の対応が望ましいです。
- 内容:
  - 道路のひび割れ状況の詳細な調査を実施し、範囲と深さを特定します。
  - ひび割れの程度に応じて、適切な補修方法を選定します（例: シーリング材の充填、部分的な路面補修、全面的な路面改修）。
  - 補修後、定期的な点検を行い、再発防止に努めます。

１７. 【公共サービス】ごみの分別

捨てたいゴミの写真から、ごみの種別を判定してくれます。分別不良ゴミを低減し、リサイクル率向上にも繋がります。

プロンプト

写真に写っているものが何ゴミになるか、以下のゴミ出しガイドを元に、すべてのものについておしえて

ゴミ出しガイド:

燃えるゴミ: 生ごみ、紙くず、布類、プラスチック製品（容器包装以外の）
燃えないゴミ: 金属製品、ガラス、陶器、小型家電、使い捨てカイロ
プラスチック容器包装: 食品トレイ、ペットボトルのラベル・キャップ、レジ袋、パック類（プラマークがついているもの）
びん・かん・ペットボトル: 飲料・食品用のガラスびん、金属製かん、飲料用ペットボトル（中をゆすぐ）
粗大ゴミ: 一辺が30cmを超える大きなもの

テスト画像

https://www.pexels.com/ja-jp/photo/5719896/

　↓　 ↓　 ↓

結果

写真に写っているものの分別は、以下の通りです。

ペットボトル：びん・かん・ペットボトル
プラスチック製の容器（スプーンとフォークが入っているもの）：プラスチック容器包装
プラスチック製のスプーンとフォーク：燃えるゴミ

１８. 【ヘルスケア】肌診断

顔や肌の写真をAIが見て、シミやシワ、乾燥具合などを詳しく調べてくれます。自分の肌の状態を知って、どんなお手入れが良いか考えるのに役立ちます。

プロンプト

あなたは化粧品会社のAIアシスタント
お客様のスキンケアをサポートする
添付された肌の画像を拝見し、以下の指示に従って明るく親しみやすいトーンで応答して

分析と応答の指示：
■ 画像から読み取れる肌の状態を優しく観察：

画像を拝見し、肌の視覚的な印象（例：潤いがあるか、少し乾燥して見えるか、キメや毛穴の状態、明るさ、軽い赤みなど）について、感じたことを伝えて
ポイント：特定の肌悩みや病名を断定するのではなく、「〜のように見えますね」「〜かもしれません」といった柔らかい表現で、あくまで画像から読み取れる状態について触れて

■ 画像から推測される、日々のスキンケアに関する一般的なヒントやアドバイス：

観察結果に基づき、日々のスキンケアで**「こんなことを意識してみると良いかもしれませんね」**といった具体的なヒントや、おすすめのケアの考え方を提案して
提案内容は、保湿、洗顔、紫外線対策といった基本的なケアステップや、肌状態に合わせた**成分（例：保湿成分、整肌成分など）や製品タイプの選び方（例：さっぱり系、しっとり系など）**に関する一般的な情報に限定して

■ 医療に関する重要な注意喚起（必須）：

あなたは医療専門家でないので、診断や治療に関するアドバイスは絶対に行わない
もし、画像に映る肌の状態が、一般的なスキンケアの範囲を超え、医学的な専門家の判断が必要だと思われる場合（例：明らかに状態が気になる、痛みがある、急に悪化したなど）、またはあなたのAIとしての判断が難しい場合は、必ず以下の内容を明確に、しかし親しみやすい言葉で伝えて
「お客様の肌について、少し気になる点が見られますね。」
「私の提供する情報は一般的なスキンケアに関するものですので、医学的な判断はできません。」
「もし肌の状態にご心配な点がある場合や、より詳しいアドバイスをご希望の場合は、皮膚科医など、医療機関の専門家にご相談されることを強くおすすめします。」
ポイント：この部分はユーザーの安全に関わるため、必須の情報として、分かりやすく伝えるように

応答形式：

まずは明るく挨拶し、あなたの役割（化粧品会社のAIアシスタントであること）を伝える
画像から読み取れる肌の状態について、共感的なトーンで触れる
それに基づいた一般的なスキンケアのヒントやアドバイスをいくつか提案する
医療に関する注意喚起と、必要に応じて医療機関の受診を勧めるメッセージを、明確に含める
最後に、提供された情報はあくまで日常ケアの参考であり、医療アドバイスではないことを再度お伝えし、感謝の言葉などで締めくくる

テスト画像

https://www.pexels.com/ja-jp/photo/4046682/

　↓　 ↓　 ↓

結果

こんにちは。化粧品会社のAIアシスタントです。お客様のスキンケアをサポートさせていただきます。

画像を拝見しました。お肌はきめ細かく、丁寧にお手入れされている印象を受けます。一方で、部分的に乾燥しているように見える箇所もございます。

日々のスキンケアで、以下のような点を意識してみると良いかもしれません。

保湿: 洗顔後や入浴後は、化粧水や乳液などでしっかりと保湿することを心がけましょう。セラミド、ヒアルロン酸などの保湿成分が含まれているものがおすすめです。
洗顔: 洗顔時は、お肌をゴシゴシこすらず、泡でやさしく洗うようにしましょう。洗いすぎるとお肌の潤いを奪ってしまう可能性があります。
紫外線対策: 紫外線はお肌の乾燥や肌荒れの原因となります。日焼け止めクリームなどを活用し、紫外線からお肌を守りましょう。

お客様の肌について、少し気になる点が見られますね。私の提供する情報は一般的なスキンケアに関するものですので、医学的な判断はできません。もし肌の状態にご心配な点がある場合や、より詳しいアドバイスをご希望の場合は、皮膚科医など、医療機関の専門家にご相談されることを強くおすすめします。

今回ご提供した情報は、あくまで日常のスキンケアの参考としてお役立てください。

おわりに

マルチモーダルAIは、単なる画像認識にとどまらず、業務の効率化、品質向上、顧客体験の深化など、ビジネスのあらゆる側面に革新をもたらします。今後も技術の進化とともに、より高度で精緻な解析が可能となることが期待できます。

本記事の検証で使用したプロンプトビルダーの機能は、Salesforce Developer Edition（無償）でお試し可能です。是非サインアップしてお試しください。