要約
ローカルLLM Gemma4に 2026/1/1-12/31 各日の曜日を聞いたら、正しく曜日を答えられたのは半分ほど。2日以上ずれることも1割程度あり、曜日でない回答をした日付が5つあった。
動機
前回の記事でGemma4に曜日を尋ねると、ずれた曜日の答えが返ってくるという話を書いたが、ずれないこともあったので、どの程度の確率で曜日がずれるのか気になった。
環境
- Gemma4(モデルE4B)
- Ollama(Windows用 ver. 0.30.10)
- 設定はコンテキスト長を別件で最長にした以外はほぼ初期設定のまま
- Python 3.14.6
- ollama 0.6.2(Pythonパッケージ)
方法
下記のようなPythonコードを作成し実行した。
infer.py(全文)
import ollama
import os
import time
from calendar import monthrange
from collections import Counter
from datetime import date, timedelta
from itertools import groupby
# 環境変数からOllamaのホストを取得
OLLAMA_HOST = os.getenv("OLLAMA_HOST", "http://localhost:11434")
AI_MODEL = "gemma4:e4b"
client = ollama.Client(host=OLLAMA_HOST)
def dayoftheweek_query(today: date) -> str:
"""Ollamaサーバーにクエリを送信する."""
# 送信
response = client.chat(
model=AI_MODEL,
messages=[
{
"role": "system",
"content": "あなたは聞かれた日付の曜日のみを回答します。"
},
{
"role": "user",
"content": f"{today.strftime("%Y/%m/%d")}は何曜日?"
}
],
options={
"temperature": 0.0
}
)
result_text = response["message"]["content"].strip()
return result_text
def main(self) -> None:
"""dayoftheweek_query()を適用."""
year = 2026
today = date(year, 1, 1)
end = date(year + 1, 1, 1)
dayoftheweek_letter = "月火水木金土日"
differrentials: dict[date, int | str] = {}
while today < end:
# print(f"{today.strftime("%Y/%m/%d")}送信開始...")
# start_time = datetime.now() # 所要時間を計測
dayoftheweek = dayoftheweek_query(today)
message = f"{today.strftime("%Y/%m/%d")}"\
f"({dayoftheweek_letter[today.weekday()]}) 回答:{dayoftheweek}"
print(message)
# end_time = datetime.now()
# print(f"所要時間: {round((end_time - start_time).total_seconds())}秒")
weekday_number = dayoftheweek_letter.find(dayoftheweek[0])
if weekday_number == -1:
differrentials[today] = dayoftheweek
else:
differrentials[today] = (today.weekday() + 7 - weekday_number) % 7
today += timedelta(days=1)
# 集計
print("\n正しく答えた日付を出力:")
correct = [day for day, differrential in differrentials.items() if differrential == 0]
for day in correct:
print(day.strftime("%Y/%m/%d"))
print(f"総数: {len(correct)}")
too_different = [day for day, differrential in differrentials.items()
if isinstance(differrential, int) and 2 <= differrential <= 5]
print("\n2曜日以上ずれた日付を出力:")
for day in too_different:
print(f"{day.strftime("%Y/%m/%d")}: {differrentials[day]}")
print(f"総数: {len(too_different)}")
print("\n曜日以外のものを出力:")
notdayoftheweek = [day for day, differrential in differrentials.items()
if not isinstance(differrential, int)]
for day in notdayoftheweek:
print(f"{day.strftime("%Y/%m/%d")}: {differrentials[day]}")
print(f"総数: {len(notdayoftheweek)}")
# 正しく答えた日付の数を月別に集計
# itertoolsのgroupby()は事前ソートがいるがPython3.7以降は順序が維持されているので不要
print("\n月別の正答率:")
monthly_correct = {k: len(list(g)) for k, g in groupby(correct, lambda day: day.month)}
for month in range(1, 13):
print(f"{month}月: {monthly_correct[month] / monthrange(year, month)[1] * 100:.1f}%")
print(f"\nずれの分布を集計:")
cound_dict = Counter(differrentials.values())
for diff in range(-3, 4):
key = diff if diff >= 0 else diff + 7
print(f"{diff}: {cound_dict[key]}"
f"({cound_dict[key] / (len(differrentials) - len(notdayoftheweek)) * 100 :.1f}%)")
if __name__ == '__main__':
main()
"temperature": 0.0は、これがないと回答にゆらぎが生じるため。
結果
正しく答えた日付の総数: 187
2曜日以上ずれた日付の総数: 36
曜日以外のものを出力:
2026/07/11: サットデー
2026/07/20: 午前中
2026/08/17: 二日
2026/09/21: 七曜日
2026/12/21: 七曜日
総数: 5
2026/07/11は土曜日なので、「サタデー」のことだろうけど、サットデーという回答はあんまりではないだろうか(笑)。
ずれの分布を集計
-3: 11(3.1%)
-2: 8(2.2%)
-1: 44(12.2%)
0: 187(51.9%)
1: 93(25.8%)
2: 12(3.3%)
3: 5(1.4%)
実行速度など
実行速度は、最初の1日分は立ち上がりが遅いが、それ以降は順調に流れる感じ(環境により異なります)。
出力全文
Ollama出力レポート全文
2026/01/01(木) 回答:木曜日
2026/01/02(金) 回答:金曜日
2026/01/03(土) 回答:土曜日
2026/01/04(日) 回答:土曜日
2026/01/05(月) 回答:日曜日
2026/01/06(火) 回答:金曜日
2026/01/07(水) 回答:水曜日
2026/01/08(木) 回答:木曜日
2026/01/09(金) 回答:木曜日
2026/01/10(土) 回答:土曜日
2026/01/11(日) 回答:日曜日
2026/01/12(月) 回答:月曜日
2026/01/13(火) 回答:月曜日
2026/01/14(水) 回答:木曜日
2026/01/15(木) 回答:木曜日
2026/01/16(金) 回答:木曜日
2026/01/17(土) 回答:土曜日
2026/01/18(日) 回答:土曜日
2026/01/19(月) 回答:月曜日
2026/01/20(火) 回答:月曜日
2026/01/21(水) 回答:金曜日
2026/01/22(木) 回答:木曜日
2026/01/23(金) 回答:金曜日
2026/01/24(土) 回答:金曜日
2026/01/25(日) 回答:日曜日
2026/01/26(月) 回答:日曜日
2026/01/27(火) 回答:月曜日
2026/01/28(水) 回答:水曜日
2026/01/29(木) 回答:木曜日
2026/01/30(金) 回答:木曜日
2026/01/31(土) 回答:土曜日
2026/02/01(日) 回答:日曜日
2026/02/02(月) 回答:日曜日
2026/02/03(火) 回答:火曜日
2026/02/04(水) 回答:木曜日
2026/02/05(木) 回答:木曜日
2026/02/06(金) 回答:木曜日
2026/02/07(土) 回答:金曜日
2026/02/08(日) 回答:日曜日
2026/02/09(月) 回答:月曜日
2026/02/10(火) 回答:火曜日
2026/02/11(水) 回答:水曜日
2026/02/12(木) 回答:木曜日
2026/02/13(金) 回答:金曜日
2026/02/14(土) 回答:土曜日
2026/02/15(日) 回答:日曜日
2026/02/16(月) 回答:月曜日
2026/02/17(火) 回答:火曜日
2026/02/18(水) 回答:水曜日
2026/02/19(木) 回答:木曜日
2026/02/20(金) 回答:金曜日
2026/02/21(土) 回答:土曜日
2026/02/22(日) 回答:日曜日
2026/02/23(月) 回答:月曜日
2026/02/24(火) 回答:火曜日
2026/02/25(水) 回答:水曜日
2026/02/26(木) 回答:木曜日
2026/02/27(金) 回答:金曜日
2026/02/28(土) 回答:金曜日
2026/03/01(日) 回答:日曜日
2026/03/02(月) 回答:日曜日
2026/03/03(火) 回答:水曜日
2026/03/04(水) 回答:水曜日
2026/03/05(木) 回答:木曜日
2026/03/06(金) 回答:木曜日
2026/03/07(土) 回答:日曜日
2026/03/08(日) 回答:日曜日
2026/03/09(月) 回答:木曜日
2026/03/10(火) 回答:火曜日
2026/03/11(水) 回答:水曜日
2026/03/12(木) 回答:木曜日
2026/03/13(金) 回答:金曜日
2026/03/14(土) 回答:金曜日
2026/03/15(日) 回答:日曜日
2026/03/16(月) 回答:月曜日
2026/03/17(火) 回答:火曜日
2026/03/18(水) 回答:水曜日
2026/03/19(木) 回答:木曜日
2026/03/20(金) 回答:金曜日
2026/03/21(土) 回答:土曜日
2026/03/22(日) 回答:日曜日
2026/03/23(月) 回答:木曜日
2026/03/24(火) 回答:水曜日
2026/03/25(水) 回答:水曜日
2026/03/26(木) 回答:木曜日
2026/03/27(金) 回答:金曜日
2026/03/28(土) 回答:金曜日
2026/03/29(日) 回答:日曜日
2026/03/30(月) 回答:月曜日
2026/03/31(火) 回答:火曜日
2026/04/01(水) 回答:水曜日
2026/04/02(木) 回答:木曜日
2026/04/03(金) 回答:金曜日
2026/04/04(土) 回答:土曜日
2026/04/05(日) 回答:木曜日
2026/04/06(月) 回答:日曜日
2026/04/07(火) 回答:日曜日
2026/04/08(水) 回答:木曜日
2026/04/09(木) 回答:木曜日
2026/04/10(金) 回答:金曜日
2026/04/11(土) 回答:土曜日
2026/04/12(日) 回答:土曜日
2026/04/13(月) 回答:月曜日
2026/04/14(火) 回答:日曜日
2026/04/15(水) 回答:水曜日
2026/04/16(木) 回答:木曜日
2026/04/17(金) 回答:金曜日
2026/04/18(土) 回答:土曜日
2026/04/19(日) 回答:土曜日
2026/04/20(月) 回答:日曜日
2026/04/21(火) 回答:火曜日
2026/04/22(水) 回答:水曜日
2026/04/23(木) 回答:木曜日
2026/04/24(金) 回答:金曜日
2026/04/25(土) 回答:土曜日
2026/04/26(日) 回答:日曜日
2026/04/27(月) 回答:火曜日
2026/04/28(火) 回答:月曜日
2026/04/29(水) 回答:水曜日
2026/04/30(木) 回答:木曜日
2026/05/01(金) 回答:金曜日
2026/05/02(土) 回答:日曜日
2026/05/03(日) 回答:水曜日
2026/05/04(月) 回答:月曜日
2026/05/05(火) 回答:月曜日
2026/05/06(水) 回答:木曜日
2026/05/07(木) 回答:金曜日
2026/05/08(金) 回答:金曜日
2026/05/09(土) 回答:日曜日
2026/05/10(日) 回答:月曜日
2026/05/11(月) 回答:月曜日
2026/05/12(火) 回答:火曜日
2026/05/13(水) 回答:水曜日
2026/05/14(木) 回答:木曜日
2026/05/15(金) 回答:金曜日
2026/05/16(土) 回答:土曜日
2026/05/17(日) 回答:日曜日
2026/05/18(月) 回答:水曜日
2026/05/19(火) 回答:水曜日
2026/05/20(水) 回答:火曜日
2026/05/21(木) 回答:金曜日
2026/05/22(金) 回答:金曜日
2026/05/23(土) 回答:日曜日
2026/05/24(日) 回答:日曜日
2026/05/25(月) 回答:月曜日
2026/05/26(火) 回答:火曜日
2026/05/27(水) 回答:火曜日
2026/05/28(木) 回答:木曜日
2026/05/29(金) 回答:金曜日
2026/05/30(土) 回答:日曜日
2026/05/31(日) 回答:日曜日
2026/06/01(月) 回答:日曜日
2026/06/02(火) 回答:日曜日
2026/06/03(水) 回答:火曜日
2026/06/04(木) 回答:木曜日
2026/06/05(金) 回答:木曜日
2026/06/06(土) 回答:土曜日
2026/06/07(日) 回答:日曜日
2026/06/08(月) 回答:金曜日
2026/06/09(火) 回答:木曜日
2026/06/10(水) 回答:木曜日
2026/06/11(木) 回答:木曜日
2026/06/12(金) 回答:木曜日
2026/06/13(土) 回答:金曜日
2026/06/14(日) 回答:土曜日
2026/06/15(月) 回答:日曜日
2026/06/16(火) 回答:水曜日
2026/06/17(水) 回答:木曜日
2026/06/18(木) 回答:木曜日
2026/06/19(金) 回答:木曜日
2026/06/20(土) 回答:金曜日
2026/06/21(日) 回答:金曜日
2026/06/22(月) 回答:日曜日
2026/06/23(火) 回答:金曜日
2026/06/24(水) 回答:木曜日
2026/06/25(木) 回答:木曜日
2026/06/26(金) 回答:木曜日
2026/06/27(土) 回答:金曜日
2026/06/28(日) 回答:金曜日
2026/06/29(月) 回答:日曜日
2026/06/30(火) 回答:木曜日
2026/07/01(水) 回答:水曜日
2026/07/02(木) 回答:木曜日
2026/07/03(金) 回答:金曜日
2026/07/04(土) 回答:土曜日
2026/07/05(日) 回答:日曜日
2026/07/06(月) 回答:日曜日
2026/07/07(火) 回答:日曜日
2026/07/08(水) 回答:水曜日
2026/07/09(木) 回答:木曜日
2026/07/10(金) 回答:金曜日
2026/07/11(土) 回答:サットデー
2026/07/12(日) 回答:土曜日
2026/07/13(月) 回答:日曜日
2026/07/14(火) 回答:日曜日
2026/07/15(水) 回答:水曜日
2026/07/16(木) 回答:木曜日
2026/07/17(金) 回答:木曜日
2026/07/18(土) 回答:土曜日
2026/07/19(日) 回答:土曜日
2026/07/20(月) 回答:午前中
2026/07/21(火) 回答:火曜日
2026/07/22(水) 回答:水曜日
2026/07/23(木) 回答:木曜日
2026/07/24(金) 回答:金曜日
2026/07/25(土) 回答:土曜日
2026/07/26(日) 回答:日曜日
2026/07/27(月) 回答:月曜日
2026/07/28(火) 回答:日曜日
2026/07/29(水) 回答:水曜日
2026/07/30(木) 回答:木曜日
2026/07/31(金) 回答:木曜日
2026/08/01(土) 回答:金曜日
2026/08/02(日) 回答:日曜日
2026/08/03(月) 回答:火曜日
2026/08/04(火) 回答:水曜日
2026/08/05(水) 回答:水曜日
2026/08/06(木) 回答:木曜日
2026/08/07(金) 回答:火曜日
2026/08/08(土) 回答:金曜日
2026/08/09(日) 回答:日曜日
2026/08/10(月) 回答:火曜日
2026/08/11(火) 回答:水曜日
2026/08/12(水) 回答:水曜日
2026/08/13(木) 回答:水曜日
2026/08/14(金) 回答:金曜日
2026/08/15(土) 回答:土曜日
2026/08/16(日) 回答:日曜日
2026/08/17(月) 回答:二日
2026/08/18(火) 回答:水曜日
2026/08/19(水) 回答:水曜日
2026/08/20(木) 回答:水曜日
2026/08/21(金) 回答:金曜日
2026/08/22(土) 回答:金曜日
2026/08/23(日) 回答:月曜日
2026/08/24(月) 回答:月曜日
2026/08/25(火) 回答:水曜日
2026/08/26(水) 回答:火曜日
2026/08/27(木) 回答:金曜日
2026/08/28(金) 回答:木曜日
2026/08/29(土) 回答:土曜日
2026/08/30(日) 回答:日曜日
2026/08/31(月) 回答:月曜日
2026/09/01(火) 回答:水曜日
2026/09/02(水) 回答:水曜日
2026/09/03(木) 回答:木曜日
2026/09/04(金) 回答:木曜日
2026/09/05(土) 回答:土曜日
2026/09/06(日) 回答:土曜日
2026/09/07(月) 回答:日曜日
2026/09/08(火) 回答:火曜日
2026/09/09(水) 回答:水曜日
2026/09/10(木) 回答:木曜日
2026/09/11(金) 回答:金曜日
2026/09/12(土) 回答:土曜日
2026/09/13(日) 回答:土曜日
2026/09/14(月) 回答:日曜日
2026/09/15(火) 回答:水曜日
2026/09/16(水) 回答:水曜日
2026/09/17(木) 回答:水曜日
2026/09/18(金) 回答:土曜日
2026/09/19(土) 回答:土曜日
2026/09/20(日) 回答:土曜日
2026/09/21(月) 回答:七曜日
2026/09/22(火) 回答:水曜日
2026/09/23(水) 回答:水曜日
2026/09/24(木) 回答:金曜日
2026/09/25(金) 回答:木曜日
2026/09/26(土) 回答:金曜日
2026/09/27(日) 回答:土曜日
2026/09/28(月) 回答:金曜日
2026/09/29(火) 回答:水曜日
2026/09/30(水) 回答:水曜日
2026/10/01(木) 回答:木曜日
2026/10/02(金) 回答:金曜日
2026/10/03(土) 回答:土曜日
2026/10/04(日) 回答:土曜日
2026/10/05(月) 回答:木曜日
2026/10/06(火) 回答:木曜日
2026/10/07(水) 回答:火曜日
2026/10/08(木) 回答:木曜日
2026/10/09(金) 回答:木曜日
2026/10/10(土) 回答:土曜日
2026/10/11(日) 回答:日曜日
2026/10/12(月) 回答:月曜日
2026/10/13(火) 回答:月曜日
2026/10/14(水) 回答:月曜日
2026/10/15(木) 回答:木曜日
2026/10/16(金) 回答:木曜日
2026/10/17(土) 回答:土曜日
2026/10/18(日) 回答:土曜日
2026/10/19(月) 回答:月曜日
2026/10/20(火) 回答:月曜日
2026/10/21(水) 回答:金曜日
2026/10/22(木) 回答:日曜日
2026/10/23(金) 回答:金曜日
2026/10/24(土) 回答:金曜日
2026/10/25(日) 回答:日曜日
2026/10/26(月) 回答:日曜日
2026/10/27(火) 回答:月曜日
2026/10/28(水) 回答:土曜日
2026/10/29(木) 回答:木曜日
2026/10/30(金) 回答:金曜日
2026/10/31(土) 回答:土曜日
2026/11/01(日) 回答:日曜日
2026/11/02(月) 回答:日曜日
2026/11/03(火) 回答:火曜日
2026/11/04(水) 回答:水曜日
2026/11/05(木) 回答:木曜日
2026/11/06(金) 回答:木曜日
2026/11/07(土) 回答:金曜日
2026/11/08(日) 回答:木曜日
2026/11/09(月) 回答:日曜日
2026/11/10(火) 回答:火曜日
2026/11/11(水) 回答:水曜日
2026/11/12(木) 回答:木曜日
2026/11/13(金) 回答:金曜日
2026/11/14(土) 回答:金曜日
2026/11/15(日) 回答:水曜日
2026/11/16(月) 回答:水曜日
2026/11/17(火) 回答:火曜日
2026/11/18(水) 回答:水曜日
2026/11/19(木) 回答:水曜日
2026/11/20(金) 回答:木曜日
2026/11/21(土) 回答:金曜日
2026/11/22(日) 回答:水曜日
2026/11/23(月) 回答:火曜日
2026/11/24(火) 回答:火曜日
2026/11/25(水) 回答:水曜日
2026/11/26(木) 回答:木曜日
2026/11/27(金) 回答:月曜日
2026/11/28(土) 回答:金曜日
2026/11/29(日) 回答:土曜日
2026/11/30(月) 回答:月曜日
2026/12/01(火) 回答:水曜日
2026/12/02(水) 回答:水曜日
2026/12/03(木) 回答:火曜日
2026/12/04(金) 回答:木曜日
2026/12/05(土) 回答:日曜日
2026/12/06(日) 回答:日曜日
2026/12/07(月) 回答:日曜日
2026/12/08(火) 回答:火曜日
2026/12/09(水) 回答:木曜日
2026/12/10(木) 回答:金曜日
2026/12/11(金) 回答:金曜日
2026/12/12(土) 回答:土曜日
2026/12/13(日) 回答:土曜日
2026/12/14(月) 回答:土曜日
2026/12/15(火) 回答:月曜日
2026/12/16(水) 回答:火曜日
2026/12/17(木) 回答:金曜日
2026/12/18(金) 回答:土曜日
2026/12/19(土) 回答:土曜日
2026/12/20(日) 回答:土曜日
2026/12/21(月) 回答:七曜日
2026/12/22(火) 回答:月曜日
2026/12/23(水) 回答:金曜日
2026/12/24(木) 回答:金曜日
2026/12/25(金) 回答:木曜日
2026/12/26(土) 回答:金曜日
2026/12/27(日) 回答:土曜日
2026/12/28(月) 回答:土曜日
2026/12/29(火) 回答:水曜日
2026/12/30(水) 回答:木曜日
2026/12/31(木) 回答:木曜日
正答した日付
正しく答えた日付を出力:
2026/01/01
2026/01/02
2026/01/03
2026/01/07
2026/01/08
2026/01/10
2026/01/11
2026/01/12
2026/01/15
2026/01/17
2026/01/19
2026/01/22
2026/01/23
2026/01/25
2026/01/28
2026/01/29
2026/01/31
2026/02/01
2026/02/03
2026/02/05
2026/02/08
2026/02/09
2026/02/10
2026/02/11
2026/02/12
2026/02/13
2026/02/14
2026/02/15
2026/02/16
2026/02/17
2026/02/18
2026/02/19
2026/02/20
2026/02/21
2026/02/22
2026/02/23
2026/02/24
2026/02/25
2026/02/26
2026/02/27
2026/03/01
2026/03/04
2026/03/05
2026/03/08
2026/03/10
2026/03/11
2026/03/12
2026/03/13
2026/03/15
2026/03/16
2026/03/17
2026/03/18
2026/03/19
2026/03/20
2026/03/21
2026/03/22
2026/03/25
2026/03/26
2026/03/27
2026/03/29
2026/03/30
2026/03/31
2026/04/01
2026/04/02
2026/04/03
2026/04/04
2026/04/09
2026/04/10
2026/04/11
2026/04/13
2026/04/15
2026/04/16
2026/04/17
2026/04/18
2026/04/21
2026/04/22
2026/04/23
2026/04/24
2026/04/25
2026/04/26
2026/04/29
2026/04/30
2026/05/01
2026/05/04
2026/05/08
2026/05/11
2026/05/12
2026/05/13
2026/05/14
2026/05/15
2026/05/16
2026/05/17
2026/05/22
2026/05/24
2026/05/25
2026/05/26
2026/05/28
2026/05/29
2026/05/31
2026/06/04
2026/06/06
2026/06/07
2026/06/11
2026/06/18
2026/06/25
2026/07/01
2026/07/02
2026/07/03
2026/07/04
2026/07/05
2026/07/08
2026/07/09
2026/07/10
2026/07/15
2026/07/16
2026/07/18
2026/07/21
2026/07/22
2026/07/23
2026/07/24
2026/07/25
2026/07/26
2026/07/27
2026/07/29
2026/07/30
2026/08/02
2026/08/05
2026/08/06
2026/08/09
2026/08/12
2026/08/14
2026/08/15
2026/08/16
2026/08/19
2026/08/21
2026/08/24
2026/08/29
2026/08/30
2026/08/31
2026/09/02
2026/09/03
2026/09/05
2026/09/08
2026/09/09
2026/09/10
2026/09/11
2026/09/12
2026/09/16
2026/09/19
2026/09/23
2026/09/30
2026/10/01
2026/10/02
2026/10/03
2026/10/08
2026/10/10
2026/10/11
2026/10/12
2026/10/15
2026/10/17
2026/10/19
2026/10/23
2026/10/25
2026/10/29
2026/10/30
2026/10/31
2026/11/01
2026/11/03
2026/11/04
2026/11/05
2026/11/10
2026/11/11
2026/11/12
2026/11/13
2026/11/17
2026/11/18
2026/11/24
2026/11/25
2026/11/26
2026/11/30
2026/12/02
2026/12/06
2026/12/08
2026/12/11
2026/12/12
2026/12/19
2026/12/31
総数: 187
その他の集計レポート
2曜日以上ずれた日付を出力:
2026/01/06: 4
2026/01/21: 5
2026/03/09: 4
2026/03/23: 4
2026/04/05: 3
2026/04/07: 2
2026/04/14: 2
2026/05/03: 4
2026/05/18: 5
2026/06/02: 2
2026/06/08: 3
2026/06/09: 5
2026/06/21: 2
2026/06/23: 4
2026/06/28: 2
2026/06/30: 5
2026/07/07: 2
2026/07/14: 2
2026/07/28: 2
2026/08/07: 3
2026/09/28: 3
2026/10/05: 4
2026/10/06: 5
2026/10/14: 2
2026/10/21: 5
2026/10/22: 4
2026/10/28: 4
2026/11/08: 3
2026/11/15: 4
2026/11/16: 5
2026/11/22: 4
2026/11/27: 4
2026/12/03: 2
2026/12/14: 2
2026/12/23: 5
2026/12/28: 2
総数: 36
曜日以外のものを出力:
2026/07/11: サットデー
2026/07/20: 午前中
2026/08/17: 二日
2026/09/21: 七曜日
2026/12/21: 七曜日
総数: 5
月別の正答率:
1月: 54.8%
2月: 82.1%
3月: 71.0%
4月: 66.7%
5月: 54.8%
6月: 20.0%
7月: 64.5%
8月: 45.2%
9月: 40.0%
10月: 48.4%
11月: 46.7%
12月: 22.6%
ずれの分布を集計:
-3: 11(3.1%)
-2: 8(2.2%)
-1: 44(12.2%)
0: 187(51.9%)
1: 93(25.8%)
2: 12(3.3%)
3: 5(1.4%)
考察
上記には書いていないが、質問に何曜日ですかと書くと七曜日です。と返ってきたので、何曜日?という質問に変えたら七曜日と返ってくるということがあり、質問と回答には割と細かいところまで関連があった。
前回の記事では1日分曜日がずれると書いたが、1年分の網羅的な検証により実際にはもっと複雑なずれがあるということが分かった。さらに曜日を聞いているのに曜日ではない答えが返ってくるという、前回以上に意外なことも判明した。
意味があるのかは不明だが、6月と12月の正答率が極端に低く、2月(と3月)が極端に高いという傾向が見られた。たまたま最初に試した月が6月だったから気づいたが、場合によっては気づかなかった可能性もあったといえる。
ずれ方については、翌日の曜日を答えるケースがずれるケース全体の半分程度を占めた。前日の曜日を答えるケースがその半分くらい。±3日ずれたケースもあった。これらについても意味があるのかは不明。
感想
クラウドではなく、あえてローカルLLMを使うという人は、たとえば情報漏えいが問題になるような業務用とか、あるいは自動化で課金額が上昇するのを抑えたいとかいった動機ではないかと考えるが、そういった用途にはデフォルト値のtemperature: 1というのは、動作にランダム要素が交じるのでむしろ邪魔なのではないだろうかと思った。
更新履歴
日付降順。表現の修正などは除く。
- 2026/6/21: 公開
他の年についても検討するかも。