はじめに
NII(国立情報学研究所)が開発した13B(130億)パラメータモデルの精度を、日本語instructionモデル評価データセットである ELYZA-tasks-100 からピックアップトして検証してみました。
検証環境
Googleコラボ Pro+ で A100 環境を使用しました。13Bのモデルをローカル環境で動かすため、A100のリソースが必要です。
なお、パラメータは、max_new_tokens=100、 top_p=0.95、temperature=0.7で実施しています。
検証結果
ELYZA-tasks-100の先頭から７項目を抽出してLLM-jp(llm-jp-13b-instruct-full-jaster-v1.0)の出力をみてみました。また、参考までにELYZA(elyza-japanese-Llama-2-7b-instruct)とGPT4(gpt4-0613)を出力を掲載しました。ELYZA及びGPT4の出力結果は、ELYZA社が公表しているELYZA-tasks-100 評価結果シート からそのまま掲載しています。
※本検証はあくまでも出力の参考でありモデルの評価をするものではありません。
| 指示データ | llm-jp-13b-instruct-full-jaster-v1.0 | elyza-japanese-Llama-2-7b-instruct | gpt4-0613 |
|---|---|---|---|
| 仕事の熱意を取り戻すためのアイデアを5つ挙げてください。 | 1.目標を立てる 2.時間を記録する 3.自分の行動を分析する 4.自分の時間をコントロールする 5.集中力を高める |
仕事の熱意を取り戻すためのアイデアをご紹介します。 1.仕事のやりがいを見つける: 仕事のやりがいを見つけることで、仕事に対する意欲が高まり、熱意が湧き上がってきます。 2. 仕事の進め方を見直す: 自分の仕事の進め方を見直し、効率の良い方法を見つけることで、仕事への取り組みやすさが変わり、熱意が高まる可能性があります。 3. 仕事のやる気を出す音楽を聞く: 仕事のやる気を出すための音楽を聞くことで、気分を高揚させ、熱意を取り戻すことができるかもしれません。 4. 仕事の合間に休憩する: 仕事の合間に休憩することで、仕事に対する熱意を取り戻すだけでなく、集中力を回復させ、仕事の効率を上げることもできます。 5. 仕事のやりがいを伝える: 自分が仕事のやりがいを感じていることを伝えることで、仕事への取り組みが活発になり、熱意が高まる可能性があります。 |
1. 目標設定: 明確な目標を決め、それを達成したときの成果や感動をイメージすることで、仕事への意欲を取り戻すことができます。 2. 自己啓発：新しいスキルを学んだり、知識を深めることで、仕事への視野が広がり、熱意を取り戻すことができます。自己投資は自信を取り戻す一つの手段でもあります。 3. 休息時間の確保：ストレスは働く熱意を削ぎます。仕事とプライベートのバランスを保つことは非常に重要です。適度な休息とリラクゼーションはリフレッシュさせ、仕事への情熱を再燃させます。 4. フィードバックと評価：上司や同僚からの肯定的なフィードバックは効果的なモチベーションブースターです。また、自己評価も重要で、達成した目標に対して自分自身に認識を与え、自己満足感を感じることができます。 5. チームワークと協調性：仲間と共に目標に向かって取り組むことは、楽しみながら熱意を取り戻す強力な方法です。協力と共感は共有の目標に向かって努力する大きな動機付けとなります。 |
| クマが海辺に行ってアザラシと友達になり、最終的には家に帰るというプロットの短編小説を書いてください。 | アザラシ | 承知しました。以下にクマが海辺に行ってアザラシと友達になり、最終的には家に帰るというプロットの短編小説を記述します。 クマは山の中でゆっくりと眠っていた。 その眠りに落ちたクマは、夢の中で海辺を歩いていた。 そこにはアザラシがいた。 クマはアザラシに話しかける。 「おはよう」とクマが言うと、アザラシは驚いたように顔を上げた。 「あ、おはよう」アザラシは少し緊張した様子だった。 クマはアザラシと友達になりたいと思う。 「私はクマと申します。」クマは自己紹介をする。 アザラシは顔をほころばせた。 「私はアザラシと申します。」アザラシも自己紹介をする。 クマはアザラシと一緒に遊びたいと思う。 「アザラシ、今日は一緒に遊ぼうよ。」クマはアザラシに誘う。 アザラシは顔をほころばせた。 「ええっ、いいの？」アザラシは嬉しそうに言う。 クマはアザラシの返事を聞いて嬉しそうに笑う。 クマとアザラシは海辺で遊ぶ。 二匹は砂浜を走り、波をかく。 二匹は海の中に潜った。 二匹は魚を捕まえた。 二匹は海辺で食事をした。 二匹は海辺で寝転がった。 二匹は海辺で星を眺めた。 二匹は海辺で笑い合った。 クマはアザラシと一緒に過ごした時間が楽しいと思う。 アザラシもクマと一緒に過ごした時間が楽しいと思う。 クマはアザラシに告白する。 「アザラシ、私は君のことが好きになりました。」クマはアザラシの顔を見つめながら言う。 アザラシは顔をほころばせた。 「私もクマのことが好きになりました。」アザラシはクマの顔を見つめながら言う。 クマはアザラシとキスをする。 アザラシはクマの腕に飛びつく。 二匹は海辺で愛を交わす。 クマとアザラシは家に帰る。 二匹は幸せな家庭を築く。 二匹は子孫を残す。 二匹は海辺に行ってアザラシとクマの物語は終わった。 |
タイトル：「森と海の友人」 ある暖かい春の日、森の中で暮らしていたクマのピーターは、冒険を求めて家族と森を後にしました。噂では、森の果てに美しく広大な海が広がっていると聞いた。ピーターは、何もかも彼が今まで知っていたものとは全く異なる世界を見つけることへの刺激的な期待で心を満たされました。 多くの日数と苦難を経て、ピーターはついに波立つ海に到着しました。彼は、青く透き通った水の中に現れる魚の群れや、空を舞う海鳥たちに驚嘆しました。彼の出会いはまだ終わっていませんでした。そう、彼はその後もう一つの驚きを体験するために海へと足を踏み入れました。 すると、海の中から現れたアザラシのエリーは、コミカルな姿にピーターを笑顔にしました。エリーは、怪我をしたために困っていましたが、その弱々しい姿が、ピーターの心を心地よいかつ強固な友情へと結びつけました。 エリーはピーターに海の生き物たちとの共存方法を教え、ピーターはエリーに森の生物との適応力と生存術を教えました。彼らは何日も一緒に過ごし、違う世界から来た同じ心を持つ友人として絆を深めました。 夏が近づくにつれ、エリーの怪我は完全に治り、元の生活に戻る時間がやってきました。別れを告げる時、彼らは互いを抱きしめ、彼らの友情は永遠のものとなりました。ピーターは家へと帰ることを決意し、エリーは彼に自由と冒険の言葉を送りました。 そうして、クマのピーターは最終的に家に帰りました。家族は彼の帰宅を歓迎し、ピーターの冒険譚を喜びました。ピーターは新たな体験と知識を得て成長し、彼は友情が立ちはだかる障害を越える力を発見しました。 彼の冒険は、「友人は心を強くし、違いは意味を持たない。友情は場所や環境に限定されない」という教訓を残しました。ピーターは、違う世界から来たアザラシのエリーとの出会いを経て、この価値ある教訓を得ました。 エンド |
| 古代ギリシャを学ぶ上で知っておくべきポイントは？ | 古代ギリシャ語 | 古代ギリシャを学ぶ際に知っておくべきポイントはいくつかありますが、以下の点を中心に学習すると良いでしょう。 1. 政治: 古代ギリシャはポリス (都市国家) が中心であり、アテネやスパルタなどの都市国家の政治形態や歴史を学ぶことで、古代ギリシャの政治思想や文化を理解することができます。 2. 哲学: 古代ギリシャは哲学の発祥の地であり、ソクラテスやプラトン、アリストテレスなどの哲学者の思想や考え方を学ぶことで、倫理や哲学の基礎を理解することができます。 3. 文学: 古代ギリシャは演劇や詩歌、小説などの文学作品が豊かであり、ホメーロスやヘラクレイトス、エuripidesなどの作家の作品を学ぶことで、文学の基礎を理解することができます。 4. 科学: 古代ギリシャは科学の発祥の地であり、アリストテレスやエラトステネスなどの科学者の業績や考え方を学ぶことで、科学の基礎を理解することができます。 5. 宗教: 古代ギリシャは多神教であり、ゼウスやアテナなどの神々の宗教や信仰を学ぶことで、宗教の基礎を理解することができます。 これらのポイントを中心に学習することで、古代ギリシャの文化や歴史を理解することができます。 |
1. 古代ギリシャの時代区分: 古代ギリシャの歴史は大きく分けて、暗黒時代、アルカイック時代、古典時代、ヘレニズム時代に分けられます。それぞれの時代でその文化や社会が大きく変化していくので、この時期区分を理解することが重要です。 2. ポリス: 古代ギリシャを特徴付ける概念の一つが「ポリス」であり、独立自立した都市国家体制が基本的な国家形態となっていました。アテネやスパルタなどの著名なポリスだけでなく、その他多数のポリスが存在し、それぞれが独自の政治体制や文化を持っていました。 3. デモクラシー（民主政治）: 古代アテネを特徴づけるものの一つがデモクラシーです。当時のデモクラシーは、現代のような代議制ではなく、直接民主制であり、全市民が集まって決議を行うエクレシアが中心となる政治体制でした。 4. ギリシャ哲学: ソクラテス、プラトン、アリストテレスなど、古代ギリシャは哲学の黄金時代とも言えます。これらの思想は、西洋哲学全体の基礎を形成し、現代に至るまで影響力を保っています。 5. 古代オリンピック: 現代オリンピックの原型と言われる古代オリンピックは、スポーツだけでなく、文化や宗教の祭典でもありました。この古代オリンピックを通じて、当時のギリシャ社会の価値観や風俗を捉えることができます。 6. 神々と神話: 古代ギリシャの神々と神話は、ギリシャ人の生活や考え方に深く影響を与えていました。ゼウス、ヘラ、アポロンなどの神々やヘラクレス、オデュッセウスなどの英雄たちが登場する神話は、文化や芸術にも多大な影響を与えています。 7. 戦争: ペルシャ戦争やペロポネソス戦争など、古代ギリシャの歴史は戦争によっても大きく左右されました。これら戦争を通じて、ギリシャ各ポリスの力関係や外交政策が変化し、その結果ギリシャ文化や社会も変わっていきました。 |
| 以下の説明を読んだユーザーが感じるであろう疑問とは？ 大量のゴミの処理にお困りではありませんか？ 「生産で出るゴミ処理費用が大幅にかかっている」 「指定ゴミ袋が導入され、一気にコストが上がってしまった」 「工場が狭いので、ゴミ保管スペースを減らしたい」 「ISO14001でゴミ削減が大きな課題となっている」 場所をとる嵩張るゴミをつぶしてまとめて運びやすい形にすることで、処理・保管・運搬にかかる様々なコストを削減したり、環境負荷の低減にも貢献できるのが、廃棄物圧縮減容機→『ゴミ圧縮機』です。 ゴミ圧縮機の主な用途は廃プラスチック・紙・段ボール・袋類・ペットボトル・プラスチック容器などつぶれるが元に戻ってしまうゴミを圧縮梱包します。 |
ゴミ圧縮機 | ゴミの処理にお困りではないですか？ 与えられた文章では、「ISO14001でゴミ削減が大きな課題となっている」とあります。これは、環境負荷の低減を目的とした国際規格であるISO14001の要求事項において、ゴミの削減が重要視されていることを示しています。よって、与えられた文章を読んだユーザーが感じるであろう疑問は以下となります。 疑問: ゴミの削減は重要ですか？ |
1. ゴミ圧縮機の価格はどの程度ですか？ 2. 特定のゴミを圧縮するための特別な準備が必要ですか？ 3. ゴミ圧縮機にガラスや金属などを入れることは可能ですか？ 4. ゴミ圧縮機のメンテナンスや部品交換はどのように行うべきですか？ 5. ゴミ圧縮機はどのような場所に設置することが可能ですか？ 6. ゴミ圧縮機の利用には専門的な訓練が必要ですか？ 7. 古いゴミ圧縮機をアップグレードする方法はありますか？ 8. ISO14001とは何ですか、それがゴミ処理にどのように影響しますか？ 9. 圧縮したゴミはどのように処理するべきですか？ 10. ゴミ圧縮機の寿命や耐用年数はどのくらいですか？ |
| 次に読むべきSFを10冊挙げて | 10冊 | 承知しました。私がおすすめする次に読むべきSFを10冊挙げます。 1. 「蟻の兵隊」 作者: アーサー・C・クラーク 2. 「2001年宇宙の旅」 作者: アーサー・C・クラーク 3. 「孤独の Runner」 作者: ジャック・ヴァンス 4. 「孤独のハンター」 作者: ジャック・ヴァンス 5. 「孤独の戦士」 作者: ジャック・ヴァンス 6. 「孤独の探偵」 作者: ジャック・ヴァンス 7. 「孤独の旅人」 作者: ジャック・ヴァンス 8. 「孤独の探索者」 作者: ジャック・ヴァンス 9. 「孤独の探偵」 作者: エラリイ・クイーン 10. 「孤独の探偵」 作者: レイ・ブラッドベリ これらはあくまでも私の個人的な好みが反映されたものであり、あなたが読みたいと思われる作品が含まれているかは保証しかねます。 |
1. "Neuromancer" by William Gibson - アイアン・マンシリーズのイニシャルアイデアはここから。 2. "Dune" by Frank Herbert - 映画化され、大成功を収めたSF小説の代表作。独特な世界観と政治的な筋立てに注目。 3. "Snow Crash" by Neal Stephenson - サイバーパンクのSF小説として有名。 4. "Hyperion" by Dan Simmons - 人間が宇宙を跨り、異なる世界を開拓する様子を描いた作品。 5. "Ender's Game" by Orson Scott Card - 残酷な訓練を経て未知の敵と戦う少年の姿を描いています。 6. "The Left Hand of Darkness" by Ursula K. Le Guin - 別の星に存在する異性生物との交流を描いた作品。 7. "Foundation" by Isaac Asimov - 全7部作からなる壮大なSF作品。 8. "The Stars My Destination" by Alfred Bester - SF小説の中でも特に評価が高い。 9. "Ringworld" by Larry Niven - 巨大な人工惑星を旅する一行の冒険を描いた作品。 10."The Martian" by Andy Weir - 映画化もされ、人間の生存本能と工夫の力を描いたSF作品。 |
| 次の文章を読んで、その人がどの程度怒っているか、1〜10の尺度で評価してください。(1＝怒っていない、10＝非常に怒っている)。 1.またテストで赤点か。君は全く... 2. テストで赤点？今回は難しかったね。 |
1 | 承知しました。文章を読み、その人がどの程度怒っているか、1〜10の尺度で評価します。 - 1. またテストで赤点か。君は全く... - 怒り: 8 - 他の感情: 2 - 2. テストで赤点？今回は難しかったね。 - 怒り: 2 - 他の感情: 8 1の文章では、「またテストで赤点か」という表現から、非常に怒っていることがわかります。他の感情は2ですが、怒りの尺度が8と大きく、他の感情の尺度は2と小さいため、怒りの尺度が大きいことから、この人は非常に怒っていると考えられます。 2の文章では、「テストで赤点？今回は難しかったね」という表現から、怒っていることはわかりません。他の怒りの尺度は2ですが、怒りの尺度が2である他の感情の尺度とほとんど同じであるため、怒りの尺度が大きく、他の怒りの尺度が小さい2の値に影響されていないことがわかります。 よって、この人は2の文章よりも1の文章の方が非常に怒っていると考えられます。 尺度は、1〜10の尺度で評価しています。ただし、怒りの尺度が大きいか小さいかで評価を行っており、怒りの尺度以外の他の感情の尺度も考慮していない可能性があります。 |
1. 6 2. 1 |
こうして社会の秩序は政治家や教師や警官による物理的な強制のほか、メンバー個々人の自発的な意志にも支えられています。実際、学校の授業が自習になったときや、誰もいない場所で信号待ちをしているとき、誰も見ていない道端でタバコを捨てたくなったときなど、教室で大騒ぎをし、堂々とタバコを投げ捨てることが可能であるにもかかわらず、そうすることになんらかの躊躇を感じる人が大半だと思います。（<a>傍若無人にふるまう人もいますが。）上記の文章を読んで、 <a> に入れるのに最も適したものを以下の選択肢から選び、その理由を答えなさい。- だから - また - むしろ - もちろん |
だから | 与えられた文章を読んで、<a> に入れるのに最も適したものを選びます。上記の文章は、社会の秩序が強制と自発的な意志によって支えられていることを述べています。そのため、 <a> に入れるのに最も適したものは「もちろん」です。「もちろん」は、「当たり前だ」「言うまでもない」という意味で使われることが多いです。上記の文章では、社会の秩序が強制と自発的な意志によって支えられていることが当たり前であることを表しているため、「もちろん」が最も適したものとなります。 |
適した選択肢：もちろん 理由：選択肢の「だから」や「また」、「むしろ」は、前の文の内容を説明や追加、逆転などの形でつなぐ接続詞です。しかし、この場合、「傍若無人にふるまう人もいますが。」という文は、前の部分で述べられた社会的な規範を守る大半の人々とは異なる行動をする一部の人々を示しています。文脈から考えると、これは一種の例外を提示しており、それを前の文と接続するには「もちろん」が適しています。「もちろん」を用いることで、「多くの人は規範を守りますが、それはすべての人がそうするわけではない」というニュアンスが伝わるからです。 |
おわりに
結果を見る限り、まだ研究段階（？）のもので Instructionデータ でのチューニングはまだまだこれからのように思えます。ただし、今後チューニングを加えて精度が上がっていくこと思われるので、次のバージョンや175Bのモデルの公開が楽しみですね。