1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

生活ログアプリの構想(2)

Last updated at Posted at 2024-05-26

前回の続き

やはり時期尚早

前回、いろいろ構想を練ったのであるが、やはり自分のやりたいことを実現するには、まだまだ社会の変化が必要だなと実感する。

レシート内容の把握

買い物をすれば、どこへ行っても「レシートは必要ですか?」と質問が返ってくる。
構想としては、ある程度溜めてから、スキャナで読んだ方が良いかと思いきや、これが甘かった。

手元にあるシートスキャナに挟んで、ある程度のレシートを固めて読み込みをするが、この部分で手間がかかることが分かった。だいたいレシートを読むということ自体が間違っているのかもしれない。

この部分では、電子マネー等で個人IDに紐付けされた購入履歴を、物販側が用意すればよい訳で、わざわざカッタルイ現代社会の仕組みに当てはめることさえ、あほらしくなってくる。
もちろん自分が電子マネーなどを駆使すれば、そういう情報を電子化できるのではないかと思うが、いまだ自分は完全現金派である。

電子レシート

調べて見たら、こんなものがあった

 ニーズは一致しているが、いまだ対応店は少なく、自分が普段利用している100均やホームセンターなどは無い。ETCの普及のように、店と顧客に何かのインセンティブが無ければ、普及は進まないのであろう・・・

GPT4oという選択

 以下の記事を見ると、GPT4oはレシートスキャナーとしても万能である。

 そうであれば、一切合切の情報をねじ込んでみたくなる。

以降は思考実験である。

ある日の出来事

FACEBOOKの投稿からその日の出来事を推察する。

  • meetsupで湖南アルプスに登山、外国人と出会う
  • 適度に写真を撮ることで、ログとして活用できる
  • YAMAPにはGPS情報も落ちている

image.png

登山日記 - 湖南アルプスへの挑戦
日時: 2024年5月25日 (土)
活動:
場所: 湖南アルプス
参加者: 私を含む4人のグループ
天気: 晴れ
スケジュール:
8:03 - 駅にて

みんなで電車に乗り、湖南アルプスに向かう。
写真1: 駅での電車の様子。
10:09 - 登山開始

準備を整え、登山開始。
写真2: 登山道の入り口で準備をする私たち。
12:12 - 途中の休憩

休憩を取りながら、景色を楽しむ。
写真3: 山道で休憩している様子。
12:17 - 山の中腹での一息

木々に囲まれた静かな場所で一息つく。
写真4: 木々の中で休憩している様子。
12:58 - 山頂到達

頂上に到達し、絶景を楽しむ。
写真5: 頂上でのグループ写真。
14:02 - 下山開始

下山し始め、途中で軽食をとる。
写真6: 山頂近くでの食事休憩。
出来事と感想:
外国人との出会い:

登山道で外国人グループと出会い、一緒に写真を撮ることに。
彼らと短い会話を交わし、共に登山の楽しさを共有。
写真撮影:

途中で何度も写真を撮り、ログとして活用。
写真を撮ることで、後で振り返る楽しみが増える。
YAMAPの活用:

登山中はYAMAPを使ってGPS情報を記録。
登山後にルートを振り返るのに非常に役立った。
持ち物:
カップ麺、ソイジョイ、カステラ、ナッツ、おにぎり
ノンアルコールビール、バナナ
カフェオレ
まとめ:
湖南アルプスでの登山は、天候にも恵まれ、素晴らしい体験となった。美しい景色や新しい友人との出会い、そして登山の達成感を感じることができた。次回もまた挑戦したいと思う。

写真:

  • 駅での電車
  • 登山道の入り口
  • 休憩中のグループ
  • 山頂でのグループ写真
  • 下山途中の食事休憩

以上が2024年5月25日の登山日記です。

ある日のレシート

いちおう折れ曲がらないように集め始めたレシート

レシートホルダー2冊入り https://amzn.to/4bRNifc

image.png

以下は画像にある5枚のレシートの内容を読み取ったものです。

  • レシート1(まいばすけっと 横浜沢渡富士見前店)
    店名: まいばすけっと 横浜沢渡富士見前店
    日付: 2024年5月15日 19:20
    内容:
    TV《徳用袋》濃縮乳: 188円
    松坂の大地: 169円
    あんぱん: 118円
    オニオンとレタスのミッ: 108円
    オーブン ベビー: 128円
    小計: 711円
    消費税: 1円
    合計: 682円
    合計(税込): 713円
    割引: -7円
    合計(支払額): 736円
    ポイント使用: 264円
    お釣り: 0円

  • レシート2(ローソン 横浜スカイビル店)
    店名: ローソン 横浜スカイビル店
    日付: 2024年5月8日 18:52
    内容:
    有料レジ袋2L: 5円
    松坂の大地: 169円
    大阪王将羽根つき餃子: 199円
    えびいか野菜ミックス: 498円
    まるごとフランクフルト: 299円
    たまご: 199円
    バナナ: 158円
    農協おおつるたまご 白: 219円
    小計: 1,696円
    消費税: 135円
    合計: 1,831円
    現金: 2,031円
    お釣り: 200円

  • レシート3(WORKMAN)
    店名: WORKMAN 栄木寺子安店
    日付: 2024年5月23日 18:59
    内容:
    商品番号: 0060909 IC002 ディオー消臭イン: 499円
    小計: 499円
    消費税: 50円
    合計(税込): 549円
    現金: 600円
    お釣り: 51円

  • レシート4(ローソン 東京ピンタチエントランス店)
    店名: ローソン 東京ピンタチエントランス店
    日付: 2024年5月22日 16:24
    内容:
    商品番号: UC セレクト(ミックスカット): 259円
    小計: 259円
    消費税: 19円
    合計(税込): 278円
    現金: 1,000円
    お釣り: 722円
    引換券: 39円引き券(ご褒美シフォンケーキ)

  • レシート5(まいばすけっと 辻町)
    店名: まいばすけっと 辻町
    日付: 2024年5月8日 18:52
    内容:
    有料レジ袋2L: 5円
    松坂の大地: 169円
    大阪王将羽根つき餃子: 199円
    えびいか野菜ミックス: 498円
    まるごとフランクフルト: 299円
    たまご: 199円
    バナナ: 158円
    農協おおつるたまご 白: 219円
    小計: 1,696円
    消費税: 135円
    合計: 1,831円
    現金: 2,031円
    お釣り: 200円

これで5枚のレシートの内容を整理しました。ご参考にしてください。

交通費の記録

WESTER会員ページからデータは入手可能
ICOCAに対応していないローカル路線はデータには入っていない

image.png

ここは利用明細表です。以下にその内容を記載します。

利用明細

利用月日 利用箇所(区間) 内容 利用額 カード残額
05/23 新子安 → 横浜 鉄道利用 -167円 4,370円
05/23 横浜 → 新子安 鉄道利用 -167円 4,537円
05/22 京急横浜 → 京急横浜 鉄道利用 0円 4,704円
05/22 浜松町 → 横浜 鉄道利用 -483円 4,704円
05/22 東京 → 渋谷町 鉄道利用 -167円 5,187円
05/22 新木場 → 東京 鉄道利用 -178円 5,354円
05/22 新木場 チャージ +5,000円 5,532円
05/22 東臨国際展示場 → 東臨新木場 鉄道利用 -272円 532円
05/22 東京都交 バス等利用 -210円 804円
05/22 海浜幕張 → 新木場 鉄道利用 -406円 1,014円
05/22 横浜 → 海浜幕張 鉄道利用 -1,110円 1,420円
05/20 横浜交通道 バス等利用 -220円 2,530円
05/20 拝島 → 横浜 鉄道利用 -824円 3,750円
05/19 羽村 → 牛浜 鉄道利用 -167円 3,574円
05/18 横浜 → 沢井 鉄道利用 -1,110円 3,741円
05/12 川崎 → 横浜 鉄道利用 -230円 4,851円
05/12 川崎 チャージ +5,000円 5,081円
05/12 川崎鶴港 バス等利用 -220円 81円
05/12 川崎市交 バス等利用 -220円 301円

  • メモ
    2023年5月12日から23日までの利用履歴です。
    主に鉄道とバスの利用が記録されています。
    複数回のチャージ(5,000円)が行われています。
    残額が最も低いのは5月22日(532円)ですが、すぐにチャージされています。
    この情報をもとに、ご自身の交通費の把握や予算管理に役立ててください。

結果

GPT4oを使うと、WEB画面のスクショでも、レシートのスキャン画像でも何でも高精度に読んでくれることが分かった。
jpg写真をつけた場合は、日時までも含めてログ化することが出来た。

最終判断

これまで、ログを取ることに苦労していたが、結果的にはスマホカメラの画像と、スマホ画面のスクリーンショット画像など、一切合切を日程フォルダに突っ込んでしまえば、あとはファイル一括でGPT4oを使ってログ化することが、現時点では最も確実ということが分かった。

今後の課題

ここからは、仮に自分の生活ログが100%得られたと仮定したとして、これをどのように活用するかを議論することとする。
そもそも、レシートや交通費に示される明細は、項目名と数値データの組み合わせであり、これをそのまま自然言語処理の世界に持ち込むのは少し違っていると感じている。そもそもNLPには統計解析や数理最適化のようなモデルはそもそも組み込まれていないのであるから。
最終的には生活ログをベースにして、過去の情報を引き出し、それをベースにして将来予測のようなことを生成AIにさせることが主目的となる。
つまり行動と出費の因果関係を元に、AIに助言や提案をさせることが、今回の最終ゴールのあるべき姿である。

これについては、いったんの予備検証は終了している

追記

レシートはスキャナ方式か写真方式が選択できる。
即時捨てたいところだが・・・

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?