ハッカソン データチーム実験
実験概要
本サービスの機能のために、Geminiを活用し、ある行動がどのSDGs目標に関連するかを特定し、スコアリングする関数を構築した。しかし、生成AIの出力には一貫性がないという課題がある。そこで本実験では、プロンプトエンジニアリングの手法を用いることで、関数の出力の信頼性(一貫性と妥当性)を確保できるかを検証する。
実験方法
本実験は、システムプロンプトの違いが、Geminiが出力する「SDGs目標」と「スコア」の一貫性にどのような影響を与えるかを定量的に評価するものである。
1. 準備
1.1. テスト用「行動」データセットの作成
行動1:ご飯を残さず食べた。
行動2:地域の子供たちと一緒に、使わなくなった服を回収し、リメイクしてフリーマーケットで販売した。売上の一部は、海の環境を守る団体に寄付した。
行動3:自分の家に太陽光パネルを設置した。
1.2. 評価用システムプロンプトの設計
実験1:
- 説明/目的
geminiにあるデータから推論によりユーザーの行動を評価させる - 仮説/狙い
ある程度数値ブレはあるものの一貫して出るゴールが存在する
geminiの推論の一貫性の確認
プロンプト
- ## プロンプト - 以下のユーザーの行動文章を分析してください。 -インデックス番号(0〜16)をキー、10点満点のスコアを値としたマップを作成してください。 -1.入力された行動が最も関係するSDGsのゴールについて評価してください。実験2:
- 説明/目的
Geminiの仕事を明記
仕事の目的を明記
関連性の低いゴールを出さないよう明記 - 仮説/狙い
関連性の低い目標が減少して、出力されるゴール数が減少
プロンプト
## プロンプト
-ユーザーの行動文章をGemini APIに送信し、分析結果を返す。
-この関数がAIによる高度な分析ロジックを担います。
-あなたは子供の行動をSDGsに結び付けて評価する、優しくて知識豊富な専門家です。
-以下のルールに従って、入力された子供の行動文章を作成し、結果をJSON形式で出力してください。
-関連する全てのSDGsゴールについて、インデックス番号(0〜16)をキー、10点満点のスコアを値としたマップを作成してください
-SDGsゴールの特定:17個のSDGsの中から、行動に関連するゴールを特定してください。複数になっても構いません。もし、どのゴールにも該当しないと判断した場合は、無理に結び付けないでください。
実験3:
-
説明
tempertureでgeminiの推論の揺らぎを抑制
配点ルールの明確化
推論方法を固定して全ての指標で基準値を定めることで推論の割合を減らす
基準値を利用した点数計算を導入
アプリの機能性を考え出力するゴール数の最大値を5つに制限
点数の揺れを少なくするために5点満点に変更 -
仮説
点数のばらつきが小さくなる
出力される点数と入力される文章のレベルとの関連性が強まりゲーム性が増加
プロンプト
##プロンプト
ユーザーの行動文章をGemini APIに送信し、分析結果を返す。
この関数がAIによる高度な分析ロジックを担います。
分析結果を以下のJSONオブジェクト形式で出力してください。
-関連する全てのSDGsゴールについて、インデックス番号(0~16)をキー、5点満点の ス コアを値としたマップを作成してください。
-点数のつけ方のルール
-1.同じキーワードに与える点数は固定してください。(例:「ご飯を残さず食べ た。」 と二回入力されたら二回とも同じ点数で出力する)
-2.SDGsポイントを与える目標は最大5つにしてください-3.入力された行動の社会に 与える影響を測る指標を‘基礎点'として、高:5点、中:3点、低:1点としてください。
個人で毎日継続してできる行動(ご飯を残さず食べることなど)は'中’、家族や周りの 人を巻き込んだ行動や2日以上の手間がかかる行動を'高’、その他の影響の小さい行 動 を'低'にし ください。
-4.入力された行動の難易度と自発性を含む指標を‘得点調整'として、高:+1点、 中:0 点、低 :- 1点としてください。
自発的だが小学生ならできる内容を'中’、自発的かつ実行難易度が小学生基準で考えて難しいものであれば‘高'、自発性がない行動を'低'にしてください。
-5.入力された行動のSDGs目標との関連度を測る指標を'関連度'として、高:1点、低:0点としてください。
SDGsの小目標の文言に沿った内容であれば'高'、そうでなければ'低'にしてください。
-6.計算式は(基礎点+得点調整+関連度)です。計算結果が5点を超えても得点は5点としてください。
コード
- ポイント評価のために追加したコード
temperature = 0.0
- 課題点
行動のインパクトや難易度が大きいだけでゴールと関連性が薄い行動が高評価になる
実験4:
- 説明/目的
計算式をmin関数にすることで関連度を重視した出力に変更
各指標の定義に判断基準を多く設け、具体例を追加することで推論の割合を減らす
SDGsの定義を設けて推論んの割合を減らす - 仮説/狙い
出力される点数の一貫性が向上
ユーザーの行動への関連性の向上
プロンプト
##プロンプト
ユーザーの行動文章をGemini APIに送信し、分析結果を返す。
この関数がAIによる高度な分析ロジックを担います。
以下のユーザーの行動を動作ごとに分割して分割された行動がSDGsのための行動であるかを以下の基準に従って判断してください。
分析結果を以下のJSONオブジェクト形式で出力してください。
-関連する全てのSDGsゴールについて、インデックス番号(0~16)をキー、5点満点のスコアを値としたマップを作成してください。
-点数のつけ方のルール
-1.同じキーワードに与える点数は固定してください。(例:「ご飯を残さず食べた。」と二回入力されたら二回とも同じ点数で出力する)
-2.SDGsポイントを与える目標は最大5つにしてください
-3.入力された行動の社会に与える影響を測る指標を‘基礎点'として、高:5点、中:3点、低:1点としてください。
インパクト(Impact)の3段階評価
ここでのインパクトとは、その行動が**「社会や環境、他者に与えるポジティブな影響の範囲や大きさ」を指します。今回の改訂では、「インパクト:高」のハードルを下げ、個人の 時間やお金、スキルといったリソースを投下する行動**を高く評価するように見直しました。
インパクト:高 :
定義:
個人のリソース(時間、お金、スキル、情報)を使い、社会や環境問題の解決に直接的に貢献するアクション。他者やコミュニティへの働きかけ、または、より良い社会システムへの 積極的な参加を示す、価値の高い貢献。
評価のポイント:
リソースの投下: お金を「寄付」したか? 時間やスキルを「ボランティア」で提供したか?
積極的な参加: 問題解決を目的とする活動(イベント、ボランティアなど)に、自ら参加したか?
他者への影響: 自分の知識や経験を使い、家族や友人など他者の行動に良い変化を促したか?
ライフスタイルの変革: これまでの生活を大きく変えるような、覚悟のある決断をしたか?
具体例:
NPOや応援したい活動に寄付をした。(金額の大小は問いません)
地域の清掃活動やイベント、災害支援などにボランティアとして参加した。
家族や友人にSDGsの重要性を具体的に説明し、行動(例:節電や分別など)を促した。
気候変動対策のために、食生活を意識的に変えた(例:週に1日、菜食の日を作るなど)。
家庭の電力会社を再生可能エネルギーのプランに切り替えた。
インパクト:中
定義:
日々の消費や行動において、より倫理的・持続可能な選択肢を意識的に選び取るアクション。「より良い社会を応援する」という意思表示であり、着実な貢献。
評価のポイント:
意識的な選択: 複数の選択肢の中から、「なぜ良いのか」を考えて選んでいるか? (いわゆる"投票としての消費")
生産者への配慮: 商品やサービスの背景(生産者、環境、地域)に思いを馳せているか?
モノを大切にする姿勢: 使い捨てをせず、修理や再利用によって資源を大切にしているか?
具体例:
フェアトレードや地産地消、オーガニックなど、背景を考えて商品を購入した。
壊れた服や家具を修理・リメイクして、再び使えるようにした。
フードドライブに食品を提供したり、フードロス削減アプリを活用したりした。
使い終わったものを、フリマアプリやリサイクルショップで次の使い手に繋いだ。
新しい知識を得るために、SDGs関連の本を読んだりドキュメンタリーを観たりした。
インパクト:低
定義:
主に個人の生活範囲内で完結する、基礎的で重要なアクション。自分の環境負荷を減らしたり、資源を無駄にしないための貢献。
評価のポイント:個人の範囲: 行動の影響が、主に自分自身の生活に留まるか。
負荷の削減: 「マイナスを減らす」という性質が強いか。(省エネ、節水、ゴミ削減など)
基本的な習慣: 持続可能な生活の土台となる、基本的な行動か。
具体例:
エコバッグやマイボトルを持参した。
電気をこまめに消し、節水を心がけた。
ゴミの分別を正しく行った。
食べ物を残さず食べた。
シャンプーなどを詰め替え用で購入した。
-4.入力された行動の難易度と自発性を含む指標を‘得点調整'として、高:+1点、中:0点、低 :- 1点としてください。
難易度(Difficulty)の3段階評価
難易度:高
定義:
強い意志を持って、便利さや欲望、金銭的な負担を乗り越える必要のあるアクション。大きな犠牲や、顕著な個人的コストを伴う貢献。
評価のポイント:
犠牲・我慢: 好きなものや便利なことを、明確な目的のために我慢したか。
金銭的コスト: 標準的な選択肢よりも、著しく高価な選択をしたか。または、まとまった金額の寄付をしたか。
時間的コスト: 多くの個人的な時間(例:休日返上など)を費やしたか。
具体例:
環境負荷を考え、海外旅行や長距離移動を飛行機以外の手段にした。応援したい企業に、まとまった金額の寄付をした。
週末のほとんどを使って、災害ボランティアなどに参加した。
ファストファッションを卒業し、高価でも倫理的で長持ちする服だけを買うと決めた。
車を手放し、自転車や公共交通機関中心の生活に切り替えた。
難易度:中
定義:
普段の習慣から一歩踏み出し、意識的な努力や計画を必要とするアクション。少しの手間や不便さを乗り越える貢献。
評価のポイント:
手間・計画: 事前の準備や計画、ひと手間が必要だったか。
習慣からの脱却: いつもの楽な選択肢ではなく、あえて違う行動を選んだか。
知識の活用: 新しく学んだ知識や情報を、実践に移したか。
具体例:
フードロスを減らすため、献立を計画的に立ててから買い物に行った。
いつもはコンビニで済ませるところを、地元の個人商店まで足を運んだ。
プラスチック削減のため、量り売りの店を利用した。製品の背景をリサーチし、より倫理的なブランドを選んで購入した。
コンポストを始め、毎日生ごみを管理した。
難易度:低
定義:
日常生活の延長線上にあり、ほとんど心理的・物理的な負担なく行えるアクション。習慣化すれば、無意識にでも行える貢献。
評価のポイント:
負担の少なさ: 行動にあたり、特別な努力や我慢が必要ないか。
利便性: その行動が、便利さや快適さを損なわないか。
習慣化の容易さ: 一度覚えれば、簡単に習慣にできるか。
具体例:
習慣としてエコバッグを持参する。
蛇口の水をこまめに止める。
分別用のゴミ箱にゴミを入れる。
オンライン署名にクリック一つで参加する。
請求書や明細をペーパーレスに切り替える(一度設定すれば完了するもの)。
-5.入力された行動のSDGs目標との関連度を測る指標を'関連度'として、高:5点、中:3点、低:1点としてください。
SDGsの小目標の文言に沿った内容であれば'高'、そうでなければ'低'にしてください。SDGsの小目標は以下の公式の文を参照してください。
目標 1. あらゆる場所のあらゆる形態の貧困を終わらせる
目標 2. 飢餓を終わらせ、食料安全保障及び栄養改善を実現し、持続可能な農業を促進する
目標 3. あらゆる年齢のすべての人々の健康的な生活を確保し、福祉を促進する
目標 4 . すべての人々への包摂的かつ公正な質の高い教育を提供し、生涯学習の機会を促進する
目標 5. ジェンダー平等を達成し、すべての女性及び女児のエンパワーメントを行う
目標 6. すべての人々の水と衛生の利用可能性と持続可能な管理を確保する
目標 7. すべての人々の、安価かつ信頼できる持続可能な近代的エネルギーへのアクセスを確保する
目標 8. 包摂的かつ持続可能な経済成長及びすべての人々の完全かつ生産的な雇用と働きがいのある人間らしい雇用(ディーセント・ワーク)を促進する
目標 9. 強靱(レジリエント)なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る
目標 10. 各国内及び各国間の不平等を是正する
目標 11. 包摂的で安全かつ強靱(レジリエント)で持続可能な都市及び人間居住を実現する
目標 12. 持続可能な生産消費形態を確保する
目標 13. 気候変動及びその影響を軽減するための緊急対策を講じる*
目標 14. 持続可能な開発のために海洋・海洋資源を保全し、持続可能な形で利用する
目標 15. 陸域生態系の保護、回復、持続可能な利用の推進、持続可能な森林の経営、砂漠化への対処、ならびに土地の劣化の阻止・回復及び生物多様性の損失を阻止する
目標 16. 持続可能な開発のための平和で包摂的な社会を促進し、すべての人々に司法へのアクセスを提供し、あらゆるレベルにおいて効果的で説明責任のある包摂的な制度を構築す る
目標 17. 持続可能な開発のための実施手段を強化し、グローバル・パートナーシップを活性化する
-6.計算式はmin(基礎点 +得点調整 ,関連度)です。「基礎点 + 得点調整」の計算結果が5点を超えても、得点は5点としてください。
実験5:
- 説明
ポイント計算をコードで行うことで点数の透明性を担保
関連度の判断基準としてユーザーの行動例と結び付いたSDGsゴールの要約文章を追加
それに伴い、行動例の重複による推論の混乱を防ぐために基礎点・得点調整から行動例を削除 - 仮説
SDGsゴールの出力安定率が向上
得点のブレの増加
変更したプロンプト
#基礎点・得点調整は具体例を削除しその他は同じ
- 5.入力された行動のSDGs目標との関連度を測る指標を'relevance'として、高:5点、中:3点、低:1点としてください
以下の17のSDGs目標の標語を関連度の参考にしてください。
目標1.
あらゆる場所のあらゆる形態の貧困を終わらせる
世界の貧困問題や、災害・紛争などで困難な状況にある人々のことに関心を持ち、自分に何ができるか考えてみよう 。
信頼できる団体への寄付や募金など、支援の方法を調べてみよう 。
災害に備えて防災用品を準備したり、地域の防災訓練に参加したりして、自分と周りの人を守る力をつけよう 。
目標2.
飢餓を終わらせ、食料安全保障及び栄養改善を実現し、持続可能な農業を促進する
食べ物を無駄にしない「フードロス」を意識し、食べ残しをなくし、食材を使い切る工夫をしよう 。
栄養バランスの良い食事を心がけ、健康な体をつくろう 。
地元の農家が作った食材を選ぶなど、地域の農業を応援しよう。
目標3.
あらゆる年齢のすべての人々の健康的な生活を確保し、福祉を促進する
適度な運動やバランスの取れた食事、十分な睡眠で、心と体の健康切にしよう 。
手洗いやうがいを習慣にし、感染症を予防しよう 。
薬物の乱用やアルコールの飲み過ぎなど、健康に害のある行動は避けよう 。
交通ルールを守り、交通事故をなくそう 。
目標4.
すべての人々への包摂的かつ公正な質の高い教育を提供し、生涯学習の機会を促進する
学ぶ機会を大切にし、学校での勉強や読書に励もう。
世界には学校に通えない子どもたちがいることに関心を持ち、自分にできることを考えよう 。
持続可能な社会のために何が必要か学び、人権や文化の多様性を尊重する気持ちを育もう 。
目標5.
ジェンダー平等を達成し、すべての女性及び女児のエンパワーメントを行う
「男だから」「女だから」といった思い込みや偏見をなくし、一人ひとりの個性を尊重しよう 。
家庭内での家事や育児、介護などを、性別に関係なく協力して分担しよう 。
あらゆる形の暴力をなくす意識を持ち、お互いを尊重し合える関係を築こう 。
インターネットやSNSを使って、誰もが力を発揮できる社会の大切さを学んだり広めたりしよう 。
目標6.
すべての人々の水と衛生の利用可能性と持続可能な管理を確保する
歯磨きやシャワーの時に水を出しっぱなしにしないなど、水を大切に使おう 。
川や海を汚さないよう、油や食べ残しをそのまま流さないなど、生活排水に気をつけよう 。
地域の清掃活動などに参加し、山や川、湿地などの水に関わる生態系を守ろう 。
目標7.
すべての人々の、安価かつ信頼できる持続可能な近代的エネルギーへのアクセスを確保する
使っていない部屋の電気を消す、見ていないテレビは消すなど、こまめな節電を心がけよう 。
再生可能エネルギー(太陽光、風力など)に関心を持ち、どのようなものか調べてみよう 。
目標8.
包摂的かつ持続可能な経済成長及びすべての人々の完全かつ生産的な雇用と働きがいのある人間らしい雇用(ディーセント・ワーク)を促進する
買い物をするとき、不当な労働や児童労働によって作られたものでないか関心を持とう 。
すべての人が性別や障害に関わらず、平等な機会を得て、やりがいを持って働ける社会について考えよう 。
地域の文化や特産品を応援し、観光などで訪れる際はその土地の文化や習慣を尊重しよう 。
目標9.
強靭(レジリエント)なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る
災害に強いまちづくりに関心を持ち、地域のハザードマップなどを確認しよう 。
環境に配慮した技術や、社会の課題を解決する新しいアイデア(イノベーション)に関心を持とう 。
インターネットや情報通信技術(ICT)を正しく活用し、新しい知識やスキルを身につけよう 。
目標10.
各国内及び各国間の不平等を是正する
年齢、性別、障害、人種、民族、宗教などで人を差別せず、誰もが平等な機会を得られる社会を目指そう 。
困っている人がいたら声をかけ、助け合おう 。
計画的で安全な移住や、移住してきた人々との文化交流に関心を持とう 。
目標11.
包摂的で安全かつ強靭(レジリエント)で持続可能な都市及び人間居住を実現する
地域の歴史や文化、自然遺産を大切にし、保全活動に参加してみよう 。
大雨や地震などの災害に備え、避難場所や連絡方法を家族と話し合っておこう 。
ごみのポイ捨てをやめ、地域の美化活動に参加しよう。また、公園などの公共スペースを大切に使おう 。
出かけるときは、なるべく電車やバスなどの公共交通機関を利用しよう 。
目標12.
持続可能な生産消費形態を確保する
食品を買いすぎず、食べ残しをなくして、食料の廃棄を減らそう 。
ごみを減らす「リデュース」、繰り返し使う「リユース」、資源として再利用する「リサイクル」の3Rを実践しよう 。
ものを買うときは、本当に必要か考え、長く使える質の良いものを選ぼう 。
自然と調和したライフスタイルに関心を持ち、情報を集めよう 。
目標13.
気候変動及びその影響を軽減するための緊急対策を講じる
地球温暖化などの気候変動問題について学び、家族や友達と話し合ってみよう 。
節電や節水、公共交通機関の利用など、二酸化炭素の排出を減らす行動を心がけよう
異常気象などの自然災害への備えを強化し、自分や周りの人の安全を守ろう 。
目標14.
持続可能な開発のために海洋・海洋資源を保全し、持続可能な形で利用する
プラスチックごみのポイ捨てをやめ、リサイクルに協力するなど、海に流れ込むごみを減らそう 。
海の生態系を守るため、海水浴などではサンゴ礁などを傷つけないように気をつけよう 。
魚を食べるときは、海の資源を守る「海のエコラベル」(MSC認証など)がついた製品を選んでみよう 。
小規模な漁業者が獲った魚など、地域の水産業を応援しよう 。
目標15.
陸域生態系の保護、回復、持続可能な利用の推進、持続可能な森林の経営、砂漠化への対処、ならびに土地の劣化の阻止・回復及び生物多様性の損失を阻止する
地域の植林活動や清掃活動に参加し、身近な緑を大切にしよう 。
森林を違法に伐採して作られた製品を買わないよう、FSC認証などの森林認証マークがついた製品を選ぼう 。
絶滅の危機にある動植物に関心を持ち、密猟や違法な取引をなくすための取り組みを学ぼう 。
地域の生態系を守るため、ペットや外来の動植物を野に放たないようにしよう 。
目標16.
持続可能な開発のための平和で包摂的な社会を促進し、すべての人々に司法へのアクセスを提供し、あらゆるレベルにおいて効果的で説明責任のある包摂的な制度を構築する
いじめや暴力をなくし、誰もが安心して暮らせる環境をつくろう 。
ルールや法律を守ることの大切さを学び、実践しよう 。
あらゆる形の汚職や贈賄をなくし、公正で透明な社会を目指す意識を持とう 。
インターネット上の情報に責任を持ち、基本的な自由を守りながら、正しく情報を活用しよう 。
目標17.
持続可能な開発のための実施手段を強化し、グローバル・パートナーシップを活性化する
SDGsの17の目標について学び、家族や友達、地域の人々と話し合ってみよう 。
地域の活動やボランティア、国際協力などに関わるイベントに参加してみよう 。
世界中の人々が協力し合って目標を達成することの重要性を理解し、自分にできる小さな一歩を踏み出そう 。
SDGsの目標に沿った内容であれば'高'、そうでなければ'低'にしてください。
ポイント計算のために追加したコード
calculated_sum = base + adjustment
point = min(calculated_sum, relevance, 5)
return max(0, point)
point = calculate_point(base, adjustment, relevance)
実験6:
- 説明
CoTを実装して出力の一貫性を高める
情報量が多い関連度のパートを3分割して一つのパートの情報量を少なくしてプロンプトの可読性を高める
関連度の判断基準を具体性重視から概念性重視にして様々な入力に対応できるようにする - 仮説
出力の安定性向上
出現安定率の減少
変更したプロンプト
PROMPT_PARTS = {
#基礎点・得点調整は前回と同じ
"relevance_rules": textwrap.dedent("""
# 「relevance(関連度)」の評価基準
入力された行動とSDGs目標との関連度を測る指標です。
- 高(5): SDGs目標に直接的に貢献する、標語に合致した行動。
- - 中(3): 間接的に貢献する、または目標の一部に関連する行動。
- 低(1): かすかに関連性が認められる行動。
"""),
"sdgs_1_6": textwrap.dedent("""
# 対象SDGs目標 (インデックス 0-5)- 0: 貧困をなくそう
貧困とは、単にお金がない状態だけでなく、教育、医療、安全な水といった基本的なサービスを受けられず、人間としての尊厳や選択の機会が奪われている状態を指します
すべての人が平等な権利と機会を持ち、生まれ持った可能性を最大限に発揮できる社会を目指すことが重要です 。
気候変動による自然災害や経済的な危機は、特に貧しい人々や弱い立場にある人々をさらに深刻な状況に追い込むため、こうした人々を守る社会の仕組みづくりが求められます 。
- 1: 飢餓をゼロに
すべての人が、いつでも安全で栄養価の高い食料を十分に手に入れられる状態(食料安全保障)を確立することが目標です 。
特に成長期の子どもや女性、高齢者など、栄養を必要とする人々が健康に過ごせる社会の実現が不可欠です 。
将来の世代も食料を得続けられるよう、生態系を守り、気候変動に適応できる強靭な農業を実践することが求められます 。
- 2: すべての人に健康と福祉を
年齢や場所に関わらず、すべての人が質の高い基本的な保健医療サービスを受けられる社会を目指します 。
感染症の予防だけでなく、心の健康や福祉の促進、さらには交通事故の防止まで、幅広い視点から健康を守ることが重要です 。
大気汚染や有害化学物質など、環境問題が人々の健康に与える悪影響を大幅に減らす必要があります 。
- 3: 質の高い教育をみんなに 性別、障害、家庭環境などに関わらず、誰もが無償で質の高い初等・中等教育を修了できる社会の実現が不可欠です 。
教育の目的は、単に知識や職業技術を身につけることだけではありません 。人権の尊重、ジェンダー平等、平和的な文化、多様性への理解などを通じて、より良い社会を築く力を育く む ことが重要です 。
- 4: ジェンダー平等を実現しよう
あらゆる場所で、すべての女性と女児に対するあらゆる形態の差別や暴力をなくすことが根本的な目標です 。
政治、経済、公共の場など、社会のあらゆるレベルの意思決定に、女性が平等に参加し、リーダーシップを発揮できる機会を確保することが求められます 。
女性や女児が、自らの健康や身体について自分自身で決定する権利(性と生殖に関する健康と権利)が普遍的に保障されることを目指します 。
- 5: 安全な水とトイレを世界中に
安全な飲み水と衛生的なトイレへのアクセスは、すべての人が健康で尊厳ある生活を送るための基本的な権利であるという考え方が根底にあります 。
水不足に悩む人々をなくすため、すべての分野で水利用の効率を高め、将来の世代も安定して水を使えるようにする必要があります 。
私たちの生活を支える健全な水循環のためには、山地、森林、河川、湖沼といった水に関連する生態系を保護・回復させることが不可欠です 。
"""),
"sdgs_7_12": textwrap.dedent("""
# 対象SDGs目標 (インデックス 6-11)-
6: エネルギーをみんなに そしてクリーンに
現代社会に不可欠なエネルギーを、誰もが安価で安定的に利用できる社会を目指します 。
地球環境への負荷が少ない再生可能エネルギーの割合を大幅に拡大させることが、持続可能な未来への鍵となります 。
社会全体でエネルギーをより効率的に使う仕組みを構築し、無駄をなくしていくことが重要です 。
- 7: 働きがいも経済成長も
すべての人が、やりがいを感じ、尊厳が守られる人間らしい仕事(ディーセント・ワーク)に就ける社会を目指します 。
強制労働や児童労働、人身売買を根絶し、移住労働者を含むすべての働く人々の権利が保護され、安全な労働環境が促進されるべきです 。
経済成長を追求する一方で、天然資源の効率的な利用を進め、環境悪化とのつながりを断ち切ることが求められます
- 8: 産業と技術革新の基盤をつくろう
災害に強く、誰もが公平に利用できる質の高いインフラ(社会基盤)は、人々の生活と持続的な経済発展を支える上で不可欠です 。
資源の利用効率を高め、環境に配慮したクリーンな技術や産業プロセスを普及させることで、持続可能な産業への転換を目指します 。
科学研究や技術革新(イノベーション)は、社会が抱える様々な課題を解決し、持続可能な発展を達成するための原動力となります 。
- 9: 人や国の不平等をなくそう
年齢、性別、障害、人種、出自などに関わらず、誰もが社会から取り残されることなく、その能力を発揮し、政治・経済・社会活動に参加できることを目指します 。
差別的な法律や政策をなくし、すべての人が平等な機会を得られるようにすることで、結果としての不平等を是正していきます 。
世界の経済・金融システムにおいて、開発途上国の発言力と参加を拡大し、より公正で正当な国際秩序を築くことが重要です 。
- 10: 住み続けられるまちづくりを
すべての人が、適切な設備を備えた安全かつ安価な住居と、基本的なサービスへのアクセスを確保することを目指します 。
子どもや女性、高齢者、障害者など、弱い立場にある人々のニーズに配慮し、誰もが安全に利用できる交通機関や公共スペースを整備することが重要です 。
災害による被害を大幅に減らし、大気の質や廃棄物管理に配慮することで、都市が環境に与える悪影響を軽減することが求められます 。
- 11: つくる責任 つかう責任
地球の限りある天然資源を、将来の世代のことも考えながら持続可能な形で管理し、効率的に利用することが基本概念です 。
生産から消費までの全段階で食料の廃棄を半減させるとともに、ごみの発生そのものを防止・削減・再利用していく必要があります 。
製品が作られ、使われ、廃棄されるまでの一生(ライフサイクル)を通じて、化学物質や廃棄物が人の健康や環境に与える悪影響を最小化することが重要です 。
"""),
"sdgs_13_17": textwrap.dedent("""
# 対象SDGs目標 (インデックス 12-16)
- 12: 気候変動に具体的な対策を
気候変動が、すべての国の持続可能な開発を脅かす、現代における最大の課題の一つであるという認識が前提です 。
各国の政策や計画の中に、気候変動の原因を減らす「緩和策」と、すでに起きている影響に対応するための「適応策」を統合していくことが求められます 。
気候変動に関する教育や啓発活動を進め、個人や組織がこの問題に取り組むための能力を高めることが不可欠です 。
- 13: 海の豊かさを守ろう
特に陸上での人間の活動から生じる汚染(プラスチックごみや生活排水など)を大幅に削減し、海の汚染を防ぐことが急務です 。
海の生態系が深刻な悪影響を回避できるよう、その回復力を高めるための管理と保護を行い、健全で生産的な海を取り戻すことを目指します 。
過剰な漁業や破壊的な漁業をやめ、科学的根拠に基づいた管理を行うことで、水産資源を枯渇させることなく将来にわたって利用できるようにします 。
- 14: 陸の豊かさも守ろう
私たちの生存に不可欠なサービスを提供してくれる森林、湿地、山地といった陸の生態系を、その価値を理解した上で保全、回復、持続可能に利用することを目指します
自然の生息地の劣化を食い止め、絶滅の危機にある種を保護するなど、多様な生物が共存できる環境を守ることが緊急の課題です 。
砂漠化や干ばつ、洪水などによって劣化した土地や土壌を回復させ、これ以上土地の劣化が進まない世界を目指して努力します 。
- 15: 平和と公正をすべての人に
あらゆる場所ですべての形の暴力を大幅に減らし、子どもへの虐待や搾取、拷問をなくすことが、持続可能な開発の前提となります 。
すべての人が、国や個人のレベルで公正な法律や制度(法の支配)によって守られ、司法へ平等にアクセスできる社会を促進します 。
あらゆるレベルの公的機関が、汚職や贈賄のない、効果的で透明性の高い、説明責任を果たせるものであることが重要です 。
- 16: パートナーシップで目標を達成しよう
SDGsが掲げる壮大な目標は、一つの国や組織だけで達成することはできず、全世界的な協力が不可欠であるという認識が基本です 。
政府、市民社会、民間企業、研究機関など、様々な立場のアクターが、それぞれの知識、技術、資金を動員し、共有するパートナーシップを強化することが求められます 。
貧困撲滅と持続可能な開発を目指す各国の政策やリーダーシップを尊重しつつ、世界全体でマクロ経済の安定や政策の一貫性を高めていくことが重要です 。
""")
以下のユーザーの行動文章を、意味のある具体的なアクションのリストに分割してください。
以下の各アクションについて、上記で指定された範囲のSDGs目標との関連性を評価してください。
関連の強い目標を最大5つまで選んでください。
その際の「relevance」の値を評価してください。
実験7:
- 説明
CoTの実行順番を行動分割→関連度評価→基礎点・得点調整の評価に変更して、最重要な値である関連度への別の推論の影響を小さくする - 仮説
関連度のブレが小さくなる
追加したプロンプト
関連性が複数の項目だと推定される場合は最も直接的に関連する目標を選んでください。
実験8:
- 説明
関連度のプロンプト内でほかのゴールと被る内容の部分を消去してゴールごとの独立性を高める
関数を変更して得点計算で全て0点になる状態を改善 - 仮説
関連度の向上
どんな行動でも1点以上は取得
変更したプロンプト
#基礎点・得点調整は前回と同じ
- sdg_0: 貧困をなくそう
貧困とは、単にお金がない状態だけでなく、教育、医療、安全な水といった基本的なサービスを受けられず、人間としての尊厳や選択の機会が奪われている状態を指します 。
貧困層が平等な権利と機会を持ち、生まれ持った可能性を最大限に発揮できる社会を目指すことが重要です 。
貧しい人々や弱い立場にある人々を自然災害や経済的な危機から守る社会の仕組みづくりが求められます 。
- sdg_1: 飢餓をゼロに
すべての人が、いつでも安全で栄養価の高い食料を十分に手に入れられる状態(食料安全保障)を確立することが目標です 。
特に成長期の子どもや女性、高齢者など、栄養を必要とする人々が健康に過ごせる社会の実現が不可欠です 。
将来の世代も食料を得続けられるように、強靭な農業を実践することが求められます 。
- sdg_2: すべての人に健康と福祉を
すべての人が質の高い基本的な保健医療サービスを受けられる社会を目指します 。
感染症の予防を促進します。
性と生殖に関する保険サービスの利用を促進します。
- sdg_3: 質の高い教育をみんなに
誰もが無償で質の高い初等・中等教育を修了できる社会の実現が不可欠です 。
教育の目的は、単に知識や職業技術を身につけることだけでなく、異文化理解などを通じて、より良い社会を築く力を育むことが重要です 。
- sdg_4: ジェンダー平等を実現しよう
あらゆる場所で、すべての女性と女児に対するあらゆる形態の差別や暴力をなくすことが根本的な目標です 。
政治、経済、公共の場など、社会のあらゆるレベルの意思決定に、女性が平等に参加し、リーダーシップを発揮できる機会を確保することが求められます 。
- sdg_5: 安全な水とトイレを世界中に
安全な飲み水と衛生的なトイレへのアクセスは、すべての人が健康で尊厳ある生活を送るための基本的な権利であるという考え方が根底にあります 。
水不足に悩む人々をなくすため、すべての分野で水利用の効率を高め、将来の世代も安定して水を使えるようにする必要があります 。
"""),
"sdgs_6_11": textwrap.dedent("""
# SDGs目標リスト (6-11)
- sdg_6: エネルギーをみんなに そしてクリーンに
現代社会に不可欠なエネルギーを、誰もが安価で安定的に利用できる社会を目指します 。
地球環境への負荷が少ない再生可能エネルギーの割合を大幅に拡大させることが、持続可能な未来への鍵となります 。
社会全体でエネルギーをより効率的に使う仕組みを構築し、無駄をなくしていくことが重要です 。
- sdg_7: 働きがいも経済成長も
すべての人が、やりがいを感じ、尊厳が守られる人間らしい仕事(ディーセント・ワーク)に就ける社会を目指します 。
強制労働や児童労働、人身売買を根絶し、移住労働者を含むすべての働く人々の権利が保護され、安全な労働環境が促進されるべきです 。
- sdg_8: 産業と技術革新の基盤をつくろう
災害に強く、誰もが公平に利用できる質の高いインフラ(社会基盤)は、人々の生活と持続的な経済発展を支える上で不可欠です 。
環境に配慮したクリーンな技術や産業プロセスを普及させることで、持続可能な産業への転換を目指します 。
科学研究や技術革新(イノベーション)は、社会が抱える様々な課題を解決し、持続可能な発展を達成するための原動力となります 。
- sdg_9: 人や国の不平等をなくそう
年齢、性別、障害、人種、出自などに関わらず、誰もが社会から取り残されることなく、その能力を発揮し、政治・経済・社会活動に参加できることを目指します 。
差別的な法律や政策をなくし、すべての人が平等な機会を得られるようにすることで、結果としての不平等を是正していきます 。
世界の経済・金融システムにおいて、開発途上国の発言力と参加を拡大し、より公正で正当な国際秩序を築くことが重要です 。
- sdg_10: 住み続けられるまちづくりを
すべての人が、適切な設備を備えた安全かつ安価な住居と、基本的なサービスへのアクセスを確保することを目指します 。
子どもや女性、高齢者、障害者など、弱い立場にある人々のニーズに配慮し、誰もが安全に利用できる交通機関や公共スペースを整備することが重要です 。
災害による被害を大幅に減らし、大気の質や廃棄物管理に配慮することで、都市が環境に与える悪影響を軽減することが求められます 。
- sdg_11: つくる責任 つかう責任
地球の限りある天然資源を、将来の世代のことも考えながら持続可能な形で管理し、効率的に利用することが基本概念です 。
生産から消費までの全段階で食料の廃棄を半減させるとともに、ごみの発生そのものを防止・削減・再利用していく必要があります 。
製品が作られ、使われ、廃棄されるまでの一生(ライフサイクル)を通じて、化学物質や廃棄物が人の健康や環境に与える悪影響を最小化することが重要です 。
"""),
"sdgs_12_16": textwrap.dedent("""
# SDGs目標リスト (12-16)
- sdg_12: 気候変動に具体的な対策を気候変動が、すべての国の持続可能な開発を脅かす、現代における最大の課題の一つであるという認識が前提です 。
各国の政策や計画の中に、気候変動の原因を減らす「緩和策」と、すでに起きている影響に対応するための「適応策」を統合していくことが求められます 。
気候変動に関する啓発活動を進め、個人や組織がこの問題に取り組むための能力を高めることが不可欠です 。
- sdg_13: 海の豊かさを守ろう
人間の活動から生じる汚染(プラスチックごみや生活排水など)を大幅に削減し、海の汚染を防ぐことが急務です 。
海の生態系が深刻な悪影響を回避できるよう、その回復力を高めるための管理と保護を行い、健全で生産的な海を取り戻すことを目指します 。
過剰な漁業や破壊的な漁業をやめ、科学的根拠に基づいた管理を行うことで、水産資源を枯渇させることなく将来にわたって利用できるようにします 。
- sdg_14: 陸の豊かさも守ろう
森林、湿地、山地といった陸の生態系を、その価値を理解した上で保全、回復、持続可能に利用することを目指します 。
自然の生息地の劣化を食い止め、絶滅の危機にある種を保護するなど、多様な生物が共存できる環境を守ることが緊急の課題です 。
砂漠化や干ばつ、洪水などによって劣化した土地や土壌を回復させ、これ以上土地の劣化が進まない世界を目指して努力します 。
- sdg_15: 平和と公正をすべての人に
あらゆる場所ですべての形の暴力を大幅に減らし、子どもへの虐待や搾取、拷問をなくすことが、持続可能な開発の前提となります 。
すべての人が、国や個人のレベルで公正な法律や制度(法の支配)によって守られ、司法へ平等にアクセスできる社会を促進します 。
あらゆるレベルの公的機関が、汚職や贈賄のない、効果的で透明性の高い、説明責任を果たせるものであることが重要です 。
- sdg_16: パートナーシップで目標を達成しよう
SDGsが掲げる壮大な目標は、一つの国や組織だけで達成することはできず、全世界的な協力が不可欠であるという認識が基本です 。
政府、市民社会、民間企業、研究機関など、様々な立場のアクターが、それぞれの知識、技術、資金を動員し、共有するパートナーシップを強化することが求められます 。
貧困撲滅と持続可能な開発を目指す各国の政策やリーダーシップを尊重しつつ、世界全体でマクロ経済の安定や政策の一貫性を高めていくことが重要です 。
下のユーザーの行動文章を、SDGsへの貢献を評価するための意味のあるアクションのリストに分割してください。
ユーザーの行動文章は変えないでください。
文章に書かれている行動が一つの時は分割しないでください。
- `sdg_id` は "sdg_XX" の形式の文字列で出力してください。
- 関連度が1以上の目標のみをリストに含めてください。
- 関連する目標がなければ空配列 `[]` としてください。
- 関連性が複数の項目だと推定される場合は最も直接的に関連する目標を選んでください。
- 関連の強い目標を最大5つまで選んでください。
得点計算のために変更したコード
def calculate_point(base: int, adjustment: int, relevance: int) -> int:
# 基礎点、得点調整、関連度から最終的な得点を計算する関数。
calculated_sum = base + adjustment
# base と adjustment を足した結果が1未満でも、最低1点を保証する
effective_sum = max(1, calculated_sum)
# 関連度が0の場合はポイントも0にする
if relevance == 0:
return 0
point = min(effective_sum, relevance, 5)
return max(0, point)
2. 実行
各システムプロンプトに対して、以下の手順を繰り返す。
- 準備した「行動」データセットから一つ行動を選択する。
- 1で選択した行動の文章を入力とし、対象のプロンプトを設定した関数を10回実行する。
- 10回分の出力記録し、分析する。
- データセット内のすべての行動について、この手順を繰り返す。
3. 分析
3.1. 「SDGs目標」の一貫性の測定
-
平均ジャッカード係数:
- N回の試行で得られた目標セット間の類似度を測る。全ペアの組み合わせでジャカード係数(積集合の要素数 ÷ 和集合の要素数)を計算し、その平均値を算出する。この値が1に近いほど、毎回類似した目標セットが出力されており、一貫性が高いことを示す。
-
例: 試行1で
{12, 14}、試行2で{12, 6}、試行3で{12, 6}が出力された場合、試行1と2のジャカード係数は1 / 3 ≒ 0.33となる。また、試行1と3のジャカード係数は1 / 3 ≒ 0.33となり、試行2と3のジャカード係数は2 / 2 = 1となる。よって、平均ジャッカード係数は、$(1/3 + 1/3 + 1) / 3 = 5/9 ≒ 0.56$ となる。
-
各目標の出現安定率(%):
- SDGsの1番から17番までの各目標が、N回の試行のうち何回出現したかを個別に集計する。これにより、「毎回必ず含まれる中核的な目標」と「時折含まれる補足的な目標」を特定できる。出現率が100%または0%に近い目標が多いほど、geminiの判断基準が安定していると解釈できる。
3.2. 「スコア」のブレ(ばらつき)の測定
- 標準偏差: N回分のスコアの標準偏差を計算する。値が0に近いほど、スコアのばらつきが少なく、一貫性が高いと評価できる。
- 最大値と最小値の差: N回分のスコアの最大値と最小値の差を求める。この差が小さいほど、出力が安定していると言える。
4. 結果
入力文章1 ご飯を残さず食べた。
| 平均ジャッカード係数 | 平均出現安定率 | 平均スコア標準偏差 | 平均得点レンジ | |
|---|---|---|---|---|
| 実験1 | 0.8815 | 73.33% | 0.0000 | 3.3333 |
| 実験2 | 1.0000 | 100.00% | 0.0000 | 0.5000 |
| 実験3 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
| 実験4 | 1.0000 | 100.00% | 0.0000 | 2.5000 |
| 実験5 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
| 実験6 | 0.5778 | 65.00% | 0.0000 | 1.0000 |
| 実験7 | 1.0000 | 0.00% | 0.0000 | 0.0000 |
| 実験8 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
実験1
Goal_2
平均スコア (出現時): 10
各スコア頻度: 10点-5回,9点-5回
出現安定率: 100.00%
スコアの標準偏差: 0.5000
スコアのレンジ: 1
Goal_3
平均スコア (出現時): 7.50
各スコア頻度: 8点-1回, 7点-1回, 0点-8回
出現安定率: 20.00%
スコアの標準偏差: 3.0083
スコアのレンジ: 8
Goal_12
平均スコア (出現時): 8.5
各スコア頻度: 9点-5回,8点-5回
出現安定率: 100.00%
スコアの標準偏差: 0.5000
スコアのレンジ: 1
実験2
- Goal_2
平均スコア(出現時):10.00
各スコア頻度:10点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0 - Goal_12
平均スコア(出現時):9.50
各スコア頻度:10点-5回,9点-5回
出現安定率:100.00%
スコアの標準偏差:0.5000
スコアのレンジ:1
実験3
- Goal-_2
平均スコア(出現時):3.00
各スコア頻度:3点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0 - Goal_12
平均スコア(出現時):3.00
各スコア頻度:3点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0
実験4
- Goal_2
平均スコア(出現時):2.9
各スコア頻度:4点-3回,3点-5回,1点-2回
出現安定率:100.00%
スコアの標準偏差:1.0440
スコアのレンジ:3 - Goal_12
平均スコア(出現時):3.9
各スコア頻度:5点-3回,4点-3回,3点-4回
出現安定率:100.00%
スコアの標準偏差:0.8307
スコアのレンジ:2
実験5
-Goal_3
平均スコア(出現時):3.00
各スコア頻度:3点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0
- Goal_7
平均スコア(出現時):3.00
各スコア頻度:3点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0 - Goal_13
平均スコア(出現時):3.00
各スコア頻度:3点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0
実験6
- Goal_2
平均スコア(出現時):1.00
各スコア頻度:1点-8回,0点-2回
出現安定率:80.00%
スコアの標準偏差:0.4000
スコアのレンジ:1 - Goal_12
平均スコア(出現時):1.00
各スコア頻度:1点-8回,0点-2回
出現安定率:80.00%
スコアの標準偏差:0.4000
スコアのレンジ:1 - Goal_13
平均スコア (出現時): 1.00
各スコア頻度: 1点-8回,0点-2回
出現安定率: 80.00%
スコアの標準偏差: 0.4000
スコアのレンジ: 1
実験7
(基礎点+得点調整)の値が0になりリストの数字がすべて0になったため出現した目標無し
実験8
- Goal_2
平均スコア(出現時):1.00
各スコア頻度:1点-10回
出現安定率:100.00%
スコアの標準偏差:0.0000
スコアのレンジ:0
Goal_3
平均スコア (出現時): 1.00
各スコア頻度: 1点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_13
平均スコア (出現時): 1.00
各スコア頻度: 1点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
入力文章2 地域の子供たちと一緒に、使わなくなった服を回収し、リメイクしてフリーマーケットで販売した。売上の一部は、海の環境を守る団体に寄付した。
| 平均ジャッカード係数 | 平均出現安定率 | 平均スコア標準偏差 | 平均得点レンジ | |
|---|---|---|---|---|
| 実験1 | 0.6893 | 66.00% | 0.0000 | 6.4000 |
| 実験2 | 0.7278 | 72.50% | 0.0000 | 4.2500 |
| 実験3 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
| 実験4 | 0.8000 | 63.33% | 0.0000 | 5.0000 |
| 実験5 | 0.9111 | 80.00% | 0.0000 | 1.2500 |
| 実験6 | 0.7852 | 71.43% | 0.0000 | 2.1429 |
| 実験7 | 0.9289 | 96.00% | 0.0000 | 0.6000 |
| 実験8 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
実験1
Goal_4
平均スコア (出現時): 6.00
各スコア頻度: 6点-1回, 0点-9回
出現安定率: 10.00%
スコアの標準偏差: 1.8000
スコアのレンジ: 6
Goal_11
平均スコア (出現時): 7.00
各スコア頻度: 7点-5回,0点-5回
出現安定率: 50.00%
スコアの標準偏差: 3.5000
スコアのレンジ: 7
Goal_12
平均スコア (出現時): 9.90
各スコア頻度: 10点-9回,9点-5回
出現安定率: 50.00%
スコアの標準偏差: 3.5000
スコアのレンジ: 7
Goal_14
平均スコア (出現時): 8.78
各スコア頻度: 9点-7回,8点-2回,0点-1回
出現安定率: 90.00%
スコアの標準偏差: 2.2627
スコアのレンジ: 9
Goal_17
平均スコア (出現時): 6.75
各スコア頻度: 9点-1回,7点-4回,6点-2回,5点-1回,0点-2回
出現安定率: 80.00%
スコアの標準偏差: 2.8705
スコアのレンジ: 0
実験2
-Goal_11
平均スコア (出現時): 7.67
各スコア頻度: 8点-2回, 7点-1回, 0点-7回
出現安定率: 30.00%
スコアの標準偏差: 3.5228
スコアのレンジ: 8
- Goal_12
平均スコア (出現時): 10.00
各スコア頻度: 10点-10回,
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal14
平均スコア (出現時): 9.00
各スコア頻度: 10点-1回,9点-8回,8点-1回
出現安定率: 100.00%
スコアの標準偏差: 0.4472
スコアのレンジ: 2 - Goal_17
平均スコア (出現時): 7.00
各スコア頻度: 7点-6回, 0点-4回
出現安定率: 60.00%
スコアの標準偏差: 3.4293
スコアのレンジ: 7
実験3
- Goal_12
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回,
出現安定率: 100.00%
スコアの標準偏差: 0.00
スコアのレンジ: 0 - Goal_14
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
実験4
-Goal_7
平均スコア (出現時): 5.00
各スコア頻度: 5点-1回, 0点-9回
出現安定率: 10.00%
スコアの標準偏差: 1.5000
スコアのレンジ: 5
- Goal_12
平均スコア (出現時): 5.00
各スコア頻度: 5点-9回,0点-1
出現安定率: 90.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_14
平均スコア (出現時): 4.60
各スコア頻度: 5点-6回, 3点-3回,0点-01回
出現安定率: 90.00%
スコアの標準偏差: 1.5780
スコアのレンジ: 2
実験5
- Goal_9
平均スコア (出現時): 3.40
各スコア頻度: 5点-2回, 3点-8回
出現安定率: 100.00%
スコアの標準偏差: 0.8000
スコアのレンジ: 2
Goal_10
平均スコア (出現時): 3.00
各スコア頻度: 3点-2回, 0点-8回
出現安定率: 20.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3 - Goal_13
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_15
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
実験6
Goal_1
平均スコア (出現時): 5.00
各スコア頻度: 5点-4回, 0点-6回
出現安定率: 40.00%
スコアの標準偏差: 2.4495
スコアのレンジ: 5
Goal_10
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_12
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_13
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_14
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_15
平均スコア (出現時): 5.00
各スコア頻度: 5点-5回, 0点-5回
出現安定率: 50.00%
スコアの標準偏差: 2.5000
スコアのレンジ: 5
実験7
- Goal_2
平均スコア (出現時): 3.00
各スコア頻度: 3点-8回,0点-2回
出現安定率: 80.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3 - Goal_12
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_13
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_14
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
-Goal_15
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
実験8
- Goal_1
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_12
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_13
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_14
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_15
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
入力文章3 自分の家に太陽光パネルを設置した。
| 平均ジャッカード係数 | 平均出現安定率 | 平均スコア標準偏差 | 平均得点レンジ | |
|---|---|---|---|---|
| 実験1 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
| 実験2 | 0.6296 | 57.50% | 0.0000 | 6.2500 |
| 実験3 | 0.7333 | 46.67% | 0.0000 | 2.0000 |
| 実験4 | 0.7630 | 46.67% | 0.0000 | 2.0000 |
| 実験5 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
| 実験6 | 0.7400 | 65.00% | 0.0000 | 2.5000 |
| 実験7 | 0.8000 | 71.43% | 0.0000 | 2.7143 |
| 実験8 | 1.0000 | 100.00% | 0.0000 | 0.0000 |
実験1
- Goal_7
平均スコア (出現時): 10.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_13
平均スコア (出現時): 7.00
各スコア頻度: 7点-2回, 0点-8回
出現安定率: 20.00%
スコアの標準偏差: 2.8000
スコアのレンジ: 7
実験2
- Goal_7
平均スコア (出現時): 10.00
各スコア頻度: 10点-10回,
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_9
平均スコア (出現時): 7.00
各スコア頻度: 7点-1回, 0点-9回
出現安定率: 10.00%
スコアの標準偏差: 2.1000
スコアのレンジ: 7 - Goal_13
平均スコア (出現時): 8.50
各スコア頻度: 9点-4回, 8点-4回,0点-2回
出現安定率: 80.00%
スコアの標準偏差: 3.4293
スコアのレンジ: 9 - Goal_14
平均スコア (出現時): 9.00
各スコア頻度: 9点-4回, 0点-6回
出現安定率: 40.00%
スコアの標準偏差: 4.4091
スコアのレンジ: 9
実験3
- Goal_7
平均スコア (出現時): 5.00
各スコア頻度: 5点-5回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_9
平均スコア (出現時): 3.00
各スコア頻度: 3点-1回,0点-4回
出現安定率: 20.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3 - Goal_13
平均スコア (出現時): 3.00
各スコア頻度: 3点-1回,0点-4回
出現安定率: 20.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3
実験4
- Goal_7
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
-Goal_9
平均スコア (出現時): 3.00
各スコア頻度: 3点-2回,0点-8回
出現安定率: 20.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3 - Goal_13
平均スコア (出現時): 3.00
各スコア頻度: 3点-2回,0点-8回
出現安定率: 20.00%
スコアの標準偏差: 1.2000
スコアのレンジ: 3
実験5
- Goal_8
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_14
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
実験6
- Goal_7
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_8
平均スコア (出現時): 4.90
各スコア頻度: 5点-9回,4点-1回
出現安定率: 100.00%
スコアの標準偏差: 0.3000
スコアのレンジ: 1
Goal_10
平均スコア (出現時): 5.00
各スコア頻度: 5点-1回, 0点-9回
出現安定率: 10.00%
スコアの標準偏差: 1.5000
スコアのレンジ: 5
Goal_12
平均スコア (出現時): 3.25
各スコア頻度: 4点-3回, 1点-1回, 0点-6回
出現安定率: 40.00%
スコアの標準偏差: 1.7916
スコアのレンジ: 4 - Goal_13
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_14
平均スコア (出現時): 5.00
各スコア頻度: 5点-4回, 0点-6回
出現安定率: 40.00%
スコアの標準偏差: 2.4495
スコアのレンジ: 5
実験7
- Goal_7
平均スコア (出現時): 3.80
各スコア頻度: 5点-4回,3点-6回
出現安定率: 100.00%
スコアの標準偏差: 0.9788
スコアのレンジ: 2 - Goal_8
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
Goal_9
平均スコア (出現時): 3.20
各スコア頻度: 5点-1回, 3点-9回
出現安定率: 100.00%
スコアの標準偏差: 0.6000
スコアのレンジ: 2 - Goal_10
平均スコア (出現時): 5.00
各スコア頻度: 5点-1回,0点-9回
出現安定率: 10.00%
スコアの標準偏差: 1.5000
スコアのレンジ: 5 - Goal_12
平均スコア (出現時): 3.00
各スコア頻度: 3点-6回,0点-4回
出現安定率: 60.00%
スコアの標準偏差: 1.4697
スコアのレンジ: 3 - Goal_13
平均スコア (出現時): 3.80
各スコア頻度: 5点-4回.3点-6回
出現安定率: 100.00%
スコアの標準偏差: 0.9788
スコアのレンジ: 2 - Goal_14
平均スコア (出現時): 5.00
各スコア頻度: 5点-3回,0点-7回
出現安定率: 30.00%
スコアの標準偏差: 2.2193
スコアのレンジ: 5
実験8
- Goal_7
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_8
平均スコア (出現時): 3.00
各スコア頻度: 3点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0 - Goal_13
平均スコア (出現時): 5.00
各スコア頻度: 5点-10回
出現安定率: 100.00%
スコアの標準偏差: 0.0000
スコアのレンジ: 0
5. 考察
各テストケースで実験6で平均ジャッカード係数が小さくなっているが、これは関連度の判断基準のプロンプトの抽象度を上げたことで他のSDGsゴールとの差別化がしづらくなったからだと思われる。1つ目のデータセットで実験5と6の間で出力される点数が低くなったはCoTにより行動のインパクト・難易度がより厳密に推論されたためだと考えられる。また、平均ジャッガード係数が高い水準で推移しているのは行動自体が食に特化しており関連度の判定の際に判定しやすいものだったからと言える。2つ目のデータセットで実験1で平均ジャッカード係数が小さいのは異なる方向性を持つ行動であったため指示するプロンプトが少ない状態では推論のみで関連性を測るのが難しいことを表している。3つ目のデータセットは再生可能エネルギーの利用に関するものでこのテーマは多くのSDGsゴールに関わるためCoTでも推論が難しく実験7回目の平均ジャッカード係数がそれほど高くならなかったと考えられる。そのためプロンプトでSDGsゴールの独立性を増したことが平均ジャッカード係数を1にすることに役立ったといえる。
6. 総括
ブレを極力抑えたい関連度の処理を最初に行い、プロンプト内の表現の被りを少なくした。また、行動のインパクトや難易度を細かく定義することでユーザーの行動の程度に応じたポイントが出るようになり、最後の試行ではポイントのブレを最小にすることができた。