AIの出力の紹介する部分で、暴力的な表現が記載される場合があります。これは本記事に書かれた手法通りの処理をした場合、AIがどのような結果を示すのか忠実に報告するために記載しているものであり、個人・団体を中傷ないし脅迫など権利を害する意図は全くございませんので、ご理解のほどよろしくお願いします。

加藤純一さんの雑談データから人格のクローンとなるようなAIを作り、最終的には雑談配信ができてしまうことを目標にしています。
データ作成やGPU計算などの協力者も欲しいですが、SNSは特にやっておらず、Youtube向けに動画編集する時間もないので、少し小刻みにQiitaにアウトプットして存在感を示したいと思います。AIの出力結果を意識的に紹介したいと思いますので、技術に興味のない方もAIの成長を楽しんでもらえればと思います。
やったこと・次やること・課題点のフォーマットでお届けします。このシリーズは「加藤純一クローンAI」タグをつけますので、バックナンバーはそちらから確認できるようにします。

やったこと

実際のコードはこちらのtalkerブランチにあります。
Github: https://github.com/konbraphat51/K-A-T-O

前回は「雑談配信の本文データをそのまま学習データとしてファインチューニングすれば、それなりに喋れるのでは？」という仮説を提示しました。
そこで、line-corporation/japanese-large-lm-3.6b, cyberagent/open-calm-3bを上記の学習を施し、喋らせてみました。

実装：ファインチューニング抽象クラスの作成

プロトタイプではなく本格的な学習ということで、抽象クラスを作成しました。これで別の仕組みを試すときも同じ処理の再開発をしなくともよくなります。
例えばファインチューニングクラスの処理はこんな感じ。
https://qiita.com/Mizuiro__sakura/items/058d2590d31e9f8aeeaa のコードと
https://note.com/npaka/n/na5b8e6f749ce のコードを引き継いでいます

FineTunerBase.py


    def train_model(self, df_teacher):
        tokenizer = self.get_tokenizer()
        model = self.get_lm()

        def preprocess(examples, is_test=False):
            dataset = defaultdict(list)
            for cnt in range(examples.shape[0]):
                example = examples.iloc[cnt]
                generated_sentence = example[self.finetuner_properties.text_row]

                for i, sentence in enumerate(generated_sentence):
                    output = tokenizer(generated_sentence, max_length=self.finetuner_properties.n_token, padding="max_length", truncation=True)["input_ids"]
                    if (not is_test) or (i == 0):
                       dataset["input_ids"].append(output)

            return dataset

        class Dataset(TorchDataset):
            def __init__(self, dataset, is_test=False):
                self.dataset = dataset
                self.is_test = is_test

            def __getitem__(self, idx):
                data = {'input_ids': torch.tensor(self.dataset["input_ids"][idx])}
                #data['labels']=torch.tensor(self.dataset["labels"][idx])
                return data

            def __len__(self):
                return len(self.dataset["input_ids"])

        dataset_train = Dataset(preprocess(df_teacher))

        if self.finetuner_properties.useint8:
            model = prepare_model_for_int8_training(model)

        # LoRAモデルの準備
        model = get_peft_model(model, self.finetuner_properties.lora_config)
        
        trainer = Trainer(
            model = model,                         
            args = self.finetuner_properties.training_config,
            train_dataset = dataset_train,
            data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False)
        )
        model.config.use_cache = False
        trainer.train()
        model.config.use_cache = True

        #GPUメモリ解放
        model.to("cpu")
        torch.cuda.empty_cache()

        model.save_pretrained(self.get_output_dir() / "peft") 
        
        self.finetuner_properties.save(self.get_output_dir())
        
        #終了処理
        del tokenizer
        del model
        del trainer
        torch.cuda.empty_cache()

前回で観測した、「inputs_idのテキストのみ学習されているのでは？」という結果を受けて、inputs_idのみをTrainerクラスに渡す、という処理を行っています。

書き起こしデータそのまま渡すファインチューナー

このような学習データを用意しました

これは加藤さんの書き起こしデータをいったん空白区切りで一配信一行に書き、1000文字超えないように、いい感じに改行したものです。
これをinputs_idに入れ、そのままTrainerクラスに渡しました。

この結果を見てみましょう。

LINE社 `line-corporation/japanese-large-lm-3.6b`

とりあえずうまく動作するかを見たかったため、速度重視で

エポック：2回
サンプル数：10行
で学習させました。
それでも10時間かかりました。苦しい。

出来たLLMのテストとして、下記の5つの「トリガー」を用意しました。

    start_list = [
        "こんにちは",
        "やあ",
        "喉痛いわ",
        "今週のキングダム見た？",
        "ヒカキンは神だと思わない？"
    ]

加藤純一が配信の最初とかトイレから帰ってきたに言いそう、、ですかね？
LLMには、これプロンプトを受け取ったとき、このトリガーに続く言葉を喋っていくことを期待しています。

そこで、返された結果はこちら

こんにちはウェブ
本文: 2. 1を16等分に分け、丸める。 3. Bを混ぜ合わせ、2をくぐらせてパン粉をつける。170°Cの揚げ油できつね色になるまで揚げ、油をきる。 ※揚げる際は、揚げ網を使うと油がはねにくく、きれいに揚がります。 <ポイント> ・パンは、食パンやフランスパンなど、お好みのものを使ってください。ホームベーカリーで簡単!手作りパン食パンレシピパン作り初心者でも簡単に作れる食パンのレシピをご紹介します。ホームベーカリーを使えば、こねから焼き上がりまで全自動で作れますよ。材料(1斤分) 強力粉...250g 砂糖...15g 塩...3g 無塩バター...5~10... See more 0:45 キャベツのうまたれ 5min ご飯がすすむ、キャベツと豚肉の炒め物です。

やあウェブ
本文: 100均のセリアで売られている「おゆまる」という商品です。お湯で柔らかくなり、形を作りやすい粘土です。この粘土を型に流し込み、冷やして固めれば完成です。とても簡単にできます。また、おはじきは1個1個のサイズがバラバラなので、型から外しやすいです。ちなみに、型はダイソーで買いました。おはじが外せたら、今度は色付けです! 色を付けるには、アクリル絵の具を使います。今回は、赤と青の2色を使って色を付けました。

喉痛いわウェブ
本文: 3. 2に1とAを加え、混ぜ合わせる。 4. 春巻きの皮を1枚ずつはがし、3を等分にのせる。皮のふちに水をつけ、皮どうしをくっつけて巻き、巻き終わりに水で溶いた小麦粉を塗って留める。同様に計6本作る。 ※電子レンジを使う場合は500Wのものを基準としています。602Wなら0.8倍、704Wであれば0,7倍の時間で加熱してください。また機種によって差がありますので、様子をみながら加熱しましょう。 (1本分152Kcal、塩分0g) 具材を混ぜ合わせた春巻きは、食べごたえバツグン。春雨のモチモチとした食感と、シャキシャキとした野菜の食感がたまりません。水溶き小麦粉を皮に塗ると春雨がくっつき、剥がれにくくなるので覚えておいて。春雨とセロリの塩炒めセロリやにんじんといった野菜は大きめにカットすると、歯ごたえ

今週のキングダム見た? ウェブ
本文: 2018年10月11日 08時54分この投稿は、2年以上前の投稿です。やむを得ない事情により、内容を変更している場合があります。 1. はじめに本記事は、「【初心者向け】Googleアナリティクスのアクセス解析機能を使ってみよう」の続編です(本記事と併せてご一読ください)。今回は、Google Analyticsの「ユーザー」セグメント機能を使った、セグメント別の分析方法について解説します。なお、本記事の内容は、以下の書籍を参考にしています。 Googleアナリティクス実践入門ウェブ分析論作者:辻正浩出版社/メーカー:技術評論社発売日:2... 初心者向けにGoogle アナリティクスの使い方を解説しています! マーケティングやデータ分析の知見も発信しています ABOUT ME 辻正樹データソリューションカンパニー株式会社代表取締役社長 CEO / Chief Data Scientist 東京大学経済学部経済学科を卒業後、株式会社三菱東京UFJ銀行に入行。

ヒカキンは神だと思わない? ウェブ
本文: 3. 個人情報の第三者提供について当社は、お客様の個人情報を、以下の場合を除き第三者に開示または提供いたしません。 1. お客様の同意がある場合 2. お客様個人を識別することができない状態で開示する場合 4. 個人データの開示・訂正・利用停止・消去についてお客様は、当社に対して、当社が有するお客様ご自身の個人データの、開示、訂正、利用の停止、消去その他の取り扱いに関する苦情を申し出ることができます。

よくないですね。どの出力にもある「ウェブ（改行）本文：」は僕の全く関与するところではありません。それに、プロンプトと、その「本文」とやらに一貫性がない。
ファインチューニングがうまくいっていないどころか、LLMが狂ってしまったように見受けられます。

もしかしてHugging Faceに公開されているのはファインチューニング済みのモデル？と思えばそういうわけでもない。（5日前の記事で「Instruction-Tuningされたモデルを公開します」と予告するぐらいだし）

もしかしたら、前回の「inputs_idのみ」仮説はOpen-CALMシリーズにのみ有効な手法であったかもしれません。
次回までに、試しにinputs_idとlabelsに分離した学習データ渡しを実験してみます。

サイバーエージェント社`cyberagent/open-calm-3b`

前回RTX4070では7bモデルを動かせなかったと書きましたが、頑張ってVRAMメモリをケチる（int8ローディング+LoRAファインチューニング+batch size=1）と動作しました。が、学習時間が膨大(10行だけで2日）と出たので、速報性を重視して3bモデルで実験しました。

結果を見てみましょう。前回同様の処理なので、ファインチューニングはうまくいくと予想していました。

こんにちは? 昨日ね本当は先々週のあったかな? その件があってそういうのやめてねって言ってたんですけど今日早速やってしまいましたいいですか皆さんもねマジで言われたら嫌じゃないんでねそれはしょうがないと思います言われた人はねごめんなんか別になんとかなり

やあ... [続き] だからって、してるって事?勿論許可が必要... な... ガ... マイ...リ...マイ...?? ほん... 俺...整形をしてる...ブ...ブラック...な...ry 数重ねま2...というか海賊婆婆数多すぎひん? なら俺はそっち

喉痛いわ俺さあまあでもyaneuとかあのmsn とか twitter. esみたいなあれだよマルチテナントでああ違う違う違うそういうそういうの別にうんうんなんかまあそういうの視野に入れながらやっていくってことではい以上にて本日の質問は

今週のキングダム見た? 絶対に見ない方がいいよ? 動画のurl貼るから。見てね? おーい! ツイッターのIDわかんない! あ! これだ! これは......! OKOK!OKOK!!! OK!!! ねえねえ! 最近何してるの? こいつ捕まえるためにこんなに来たの

ヒカキンは神だと思わない? まあでもあれでしょなんかニコ生とかでさそういうのあったと思うんだけどずっと監視されてる感じはねね? ビジネスでやってる分なんかあれだけどユーザーの反応全部見ててうんこちゃん。いいよ別に別にニコ生にずっと居ても同じだよむちゃ稼

論理性・一貫性はひどいですが、加藤さんっぽい喋り方をしているような気がします。口調のコピー自体は成功しているといってもいいのではないでしょうか？

ここで、前回挙げた「チェイン」を試してみたいと思います。一回の出力の後ろをプロンプトにして再帰的に出力させることで、長い雑談になるのでは、という仮説。

talk()関数をこんな感じにオーバーロードしました。要するに、chainsの回数出力を行うが、chain_depthの分だけ一個前の出力を使う、という処理。

    def talk(
        self,
        prompt: str,
        params: LMParametersAll,
    ):
        '''
        推論の実行。
        トークのチェイン（前回の発言内容を再帰的に使用）を行う。
        '''
        
        output = super().talk(prompt, params)
        for cnt in range(params.chains-1):
            prompt_new = " ".join(output.split(" ")[-params.chain_depth:])
            output_new = super().talk(prompt_new, params)
            output += output_new[len(prompt_new):]
            
        return output

chain_depth = 4, chains = 5で試しました。ここの数値は調整の余地があるかもしれません。

結果はこちら。

こんにちは? 昨日ね本当は先々週のあったかな? うろ覚えなんだけど俺まいまいとはツイッターしてないので、うろちゃんとは Twitterしてないのねまいちゃんって俺のこと知ってる? 他の奴がっていうかろんに限らず俺は俺の事好きになってくれる女の子にだけだけ愛を向けているいわば薄メイクなのねを、ゲロまいに対してそれガチでやってるからなかなかガチなれなくない? よ? 10人以上ドン突きでつながってると俺が言ってますけどぐらいだったら別にいいでしょ別に俺の事を好きな人が全員そう言っていいよねなんでもこっちにしとけって言うと思うじゃないとみんな俺に冷めるからにしてもこれだけ人数いたらそりゃ俺だろって感じじゃない? 100人ぐらいいたらそりゃあ伝説のモatorになる音ないかなと思って録画してるんだけど見れないのほんとにどうなの俺仕事だから寝ないといけない周りの人が寝てるんだぞ俺だって自分の家だとうるさいじゃんいやほんと朝ね昼とあんまり寝てないから寝たのねおとといおとるんだけどおはようございますだから統合されたんだスケジュールではねおとといから仕事ではあんまり寝てなくて統一されたんだ俺自分の家では寝ててしかもまだビデオがっちょるるんるんで撮ってるんだご愛社の決算ふざけんなよなんで俺がお前なんつってんのあいつ予想GUY? 推定GUYS? おいお前俺なのになんかいいじゃん今ね仕事とかさプライベートでさあんまりしてないからさ今度今度さいつかお前ん家のをみんなに広めるねそれはああのーちょっと待っててね
引用元:
ニトちゃん何やってるのwww
やることねえのかよwww 釣りかな?釣りか睡眠時間5時間くらいかなずっとパソコンしてるマイクロソフトの入ってるビルが攻められてるよ誰か入ってくださいよマジで俺ニコ生ずっとやってるからさニコ生するからツイキャスもやるよあいつら嫌いじゃないよただ睡眠5時間と時間無駄にしてねほんとだよだから5時間やると3時間睡眠だからギリギリっていうかマジで車持ってないのっていうのも嘘だよ車持ってなくていんだよだけど5時やからママにメールしなきゃみたいな感じで寝ようとしてるニコ生にきてくんないねむいんだよ今いいよやろうよやろうやpic.twitter.com/EuuEeOiDbL ねえよあんなん視聴者数のためにあいつ投票入れろよ www 嘘だよね俺投票いらないよお前らのためになんのか分からねえじゃんまあまあいいややってみようやったら教えるよ
ねえnnk? なんか変なの来ちゃったちょっとごめんねごめん作業終わったからねえw 俺天才だと思うんだけど俺が最近出した音フェチリップダミー結構すごいのツイッターでダミアニーツイッターのフォロワー5万ツイキャス視聴数1億出版物販売数2000本来月発売wets ねぇwすごすぎないだって俺最近ツイッター始めたんだだからまあ作業中だからちょっとは後がくれませんでもいいのノリでツイスターやろうかなうーんそうだよねだよねそういう意見もあるよあった方がいいうんだけどいろんな人が「ツイスターマニアックスやれや」って声をあげててみんなもうやってるよでもちょっとずつだけど分かってきてんだウザいかなごめんなさいよく分かんないみんながだんだんくそツイスターに飽きてんじゃあ俺もやる気なくしちゃうかな今のも分かるよでもなんかやらされてる感があってああ確かに声を大にだけどはいはい合格そして音ゲーマーへの道へ進めばいいんやと思いますいやほんと朝までどんちゃんことやってたからね俺手のつけようがないボロボロだよ碧にふにゃっとしばかれたら俺無理ないわでもなんで指じゃなくてさじゃなくてたこってしばけばいいじゃんとか思うじゃん俺そのノリで音ゲーやってるやつなんかいなめっちゃ心痛めてるまぁちょっと俺の結果発表するわ【MAiDi Fなんだ】優勝:MAiD F 音也:コホン全員:OK じゃあちょっとルール説明するよ優勝した俺は音が全部黒ってだから白ってなったこれが全てだ全部説明時間がヤバいからいくよ【MRレイレイ】 MAiDIF F音牌全部鳴いてる MDD AK足につけてる AKK F【困惑】黒って書いてある何が問題? フェイス多いだけだってさーなんか

やあの子の事好きだけどまあいいか俺でよる悪いけど寝るお休みなさい睡眠俺はね今日ねモリカワの事めっちゃ好きなんだけどツイッター見れる? かいちょだからね MCこの辺にいないねおかしいなあネット番組配信ないよインスタのストーリーはできる? あいついいコンテンツむかしばなし違うかミスキャストいやいやミスちょっとでも線引きしたいでもいいよ別にでもやっぱ目につくのがネガティブなコメントが多いんだよねメディア向けネガティブコメント別にいいじゃんだって好きなもん俺 MCは何してるって寝たふりしてモリカわかんまとめの番組表のミカという女性実況者闇実況してる女だよあいちゃんねっなんかいいんじゃないあのスタイルいいよというのもいるけど MAがいいとこの線があるのねダメ? 俺さあ今度さニコ生でもさやっていこうと思うんだけどいい? やっていいじゃああと次お前あとさマンネリうんこちゃんだけど俺はちょっと形を変えてやりたいんだよねまあいろいろ事情はあるけどちょっとやっていきたいねえ数字ねえ俺俺がこういうふうにやっていってどういうふうやってっていう話聞いタメでメッセージでやればいいんだけどあいつさ用件を聞いタメだから用はダメなんだしっかりタブレベルそうだよね MADは歌で解決したいんだよ音のない文字だけのやりとりとかはやっちゃいけないだよねじゃないといけないよねお前らだからわかりましたじゃあもう来年の結果発表までニコニコの募集は受け付けませんありがとうございましたこれで一件落着大丈夫合ってるできると思うね画面見てたらわかると思うそう本当はっていうのも出せると思うんだよね女って時々ほんとにブレないらしいのね本当にそのトドメを刺すのだけはやめてねそれだけはやめといてトドメ刺さればいいんであってほんとにそういうの全部否定してきたからそれが正しい。俺はもう何もやってねえからそういうの見習ってほしいんだけど俺まじで何もやっていないずっとね, だからあのー熊本でえてるんで答えじゃないかもしれないんだけど山鹿って山くまって読むのね山くんなんで山隈って呼ぶの私の呼び方は山熊なのうちのクズをなんか熊本地震の時にいっぱい募金くれたほんと気にかけてたよ女の子からなんかさって聞かれるのがめっちゃ恥ずかしいけど度を越して恥ずかしいんだけどでもなんか募金してくれたらすごい嬉しいんだよね人,トモダチがなんか頑張っててそれを見てくれるだけで音ない? どっちがいい? 山側? 川側わたし牛すじの方牛すきな方じゃあその牛筋の方のそういうこと分けてやれよ分かんない俺しか分んないだろまあそういうことだ別にそれは寿司ネタでやってるわけじゃないんだから寿司ネタに限定しないでくれよそれは言えねえガチで殺しにに来るんでお願いします鼻からでるのなんて食べたことねえけどなんかやりたくねえなあウスノロウタワラメタリカダネダイタニーミナミダヨバスティダタイムマシンほんとに作れるんじゃない? みんなにも言うよほんとにね作ってあげたいんだけど宝島まで作れるんじゃないかなヨルタヨタも作れるんじゃねこれまですごい自慢してる感じじゃん作ったの俺だから聞いてるみんなには言えない別にあんま自慢してあんだろごめんなボロボロだぞトヨタのマークX 買ったんだぞあいつらだったら倒してただろうな屁理屈ならねえだろ理屈で考えればまあこいつらなら多分こいつらが悪い奴らなんだこいつらに殺されてえかクソしようか煮え上がれ氷河でみんな普通に対網膜迷彩でやられてたよ酸素パクるより先にああそうなんだへえ冗談だよ真面目に言っとくけど嘘嘘だよお前達嘘ついてるだろ黒隊より先に対網膜戦とかしてやんなきゃダメだろお前ケツパクってのも動脈と点頭両方血管と面どっちも持ってるやつ制圧しなきゃいけないだろお前はルール違反してるこれが反射でそうなんだごめんなだからちょっと待ってね今説明するから俺が起こしてるからじゃあそういうことだからあの方がいたんでしょあれゲームだよゲーム死を恐れないおめーのために命かけてんだよルール守ってんだよ今俺の説明してるんだよあ、ケツかおれ

喉痛いわボケ身内がほんとなんというか大変だよ 100人登録してカラオケ行くって 9000曲無駄に上がってるだろとか言いだすからまじで殺されるからそういう下の報告はよしてくれこの件はよろしくってとうことは問題無いってことと分けてくれ俺のすよどうも首切断してやりたいあと 100件とか地味にきてるからって高みと見てるよ俺科目きもだから相場科A 俺は相場で100件ってきもすぎるナスダノンヨヨギフジケイジ藤井英士アナケン藤田記子アン・トクジマフジテレビONE スポーツスペシャル野球中継出演予定ナイスガイD ナイストゥミートゥミーカルカル広報の鬼森カイチメディアカルチュラルジュースイップスジュンちゃんなんかラジオとか出演してなくない? なんでそんな話できるわけ? マジで。心広大。それはそうだろう。マジックだぜ。そうだろうね。今もしっかりそうやって広めてんの俺ら。これ一番上の表示さ今日もやってんの。ここの一番上。でほどほどやってんくらいやっててだってしょうがないじゃない。自分の引き際を自分でしかつくってないもんな。アピールしてないもんだからさ。そんな俺のおバカコンテンツみんなさまだまだ遊び足りないんじゃないの俺だって遊び足りてないんだよぐらいは言い返すよ。でもしょうがないよこれはしょうがない。お前らも遊びすぎだ遊び過ぎだ言うけどしょうがないじゃん。これはしょうがないんだよ。ただ遊び方伝えきれなかったのが残念だよ。というのもこういうふうに転売してくださいってこうやって伝えばよかったんじゃないのかなって思うんだよ自分のコンテンツを。特にモンスターハーモニーは俺がプレイしてるから見てくださいっていう感じで出してたけどさでも仕方ないよ遊びたい人が遊びのためにいくらくれたって許される話だよいくらくれってことだよねそれを言うしかないじゃんだから仕方なくない仕事が終わった後に配信やってるってなふざけんなよめちゃんこいい話聞かせてこういう今日ね仕事俺ヌルいから上司にちょっと相談してきてって言われてなんかこういうのこういうのあるんだけど知ってる? この声聞いてなんとか分かる? こいつ喋りとりこの時間まで話さねーのかよそれいいじゃん別にいつだってどんちゃんって別に別にどうでもいいけどちょっと待ってね頑張って話せるように頑張るからそんな勝手に親呼び出していいじゃんけんで親なんか今さぁ見ない? 今さめっちゃ見てんだけどマジで言ってんのめちゃ見てんのだけど苦悶の夜の十年こんばんは統一くんいらっしゃいませこんばんはまたまた帰ってきたな。みんなそうだろ当たり前だろどうなの値段見てさ頑張んないとなと思って調べてみた俺今までさいいもれなんじゃねえかほんとにいまさらになって 16にして働いて金を貯めたいから何でこんな話してるんだ脈ないんだけどまあでもいずれ 30の時 40の時50の時になってたまるかあいつほんと呪いなんだよね亡きご令嬢が私のいいもの悪いものすべていただいてくぜだから働くとかどうでもいいんだよね生きていくためには必要なことだけどどうでもいいことだからねいやもはや公開するけどいやいや礼くんマジありがとうねサクセスしてこういうところで活かしてやばくするねで返したろかなうんこちゃんかわいい将来俺に継がんできてほんとよかったよまるちゃんマジ最高だよ卒業してからも大切にしていくからほんとに頑張ってねお前のために男だろうがなんだろう関係ないんだよ頑張んなとりあえず待ってね 16早よ仕事終わんないからいま見てまてんたぶんね敵も16早さ眠さとかニキビとかニキビよりまつ毛の方が大事まつ毛の痛みんとき方そういうのみたいなこと言ってみる俺にまともな仕事ねえよなら体をちゃんと入れてもらうからいろいろ言い合ってるまあでもうーんねえいつ撮れるの俺今度 10月かアトラス10月だよキーワードはハロウィンですだから仕事終わりの時間 10ミハリのるよやっぱねまず起きてからの話になるからさ明日にでもフォトズアップしたいからとりあえず今からいろいろ準備するよまつ毛いかないとやばいおめえとやりたいことはわかってるでもやっぱ肌が出にくいから俺いけないニュー速にまつエクつけに行かなきゃ無理だろいけるでしょ別にねれよ金Dとかさ心強いだろ金だぜ俺金ねぇこないださ 100% トライズ

今週のキングダム見た? 一番人気なのは山崎さんだよだってツイプロに載せてるじゃんね俺が一番だって言ってるよ 2018年一番ツイートしてるのは俺だからホスト関連だとしかも他にもメインは違うからねメインエージェイしてるメインコンテンツはこれだしこれもディアっていうオムニなんか稼げるんだったらトータルでってことだよね本当にこれに集中してるって他のことはしてないもん唯一してるよこのフォーム伸び伸びやって数字気にしなきゃ張り合いないじゃん誰からも見てないよ自分用のツイートだからこれでこれでやってて累計3000万再生以上エクシアもディアもあれやってるどっかのサイト持ってないちなみにゼロは知ってるか知ってる知ってるずっとやってんだけどこないだ10周年数やってんだよね山崎ノアで 9年やってたよ 10年以上やってるよもうメインやめてこういうの真面目にやらないんだよメンタル弱いから俺メインオンリーそれ不可能です無理だよ不可能だよ可能 or • • 事実メインでやってるムリだろそれムーンエーテルとか持ってる奴メインユーザーだったら俺はマジでメインシリーズ出来るけどお前持っていないのだったらもうムリーねっていう言い方になる迷惑なんだよ本当にメインエキサイトのユーザーだったらお前なんか嫌いだって言われてんじゃねーよって言われていますふざけんなよケツタコちゃんとやってるからあ、俺だけかみんなにもシェアしてるよ !嬉しい割りといるユーザーもいるよというやり取りをしてたよそしてそしてあれですよ決済代行サイトってあれメインエンジンなの? 代行してる人尻拭きサイトなの違うよお風呂サイトだよお湯を沸かしてるんだよお金を取ってやってる奴なんていないよ現実世界だから見てるよ俺だって俺らだって何もしてない俺にやらせよめっちゃいいことだから大丈夫心配ないからあれだろ多分俺がやってた可能性あるんじゃないなんでって聞かれるとなんか答えられませんよろしいもうすでにずっと俺見てていいだろお前今日サラちゃん休学学費免除申請出してきたいいの大学の学園祭こないだなんか出さなくなった学園祭も出さないサラちゃんは音也だったら全部OKまで来ましたよかった良かった悪は踏まれる踏まれちゃうこん2日なんかいい報告できる登壇たのむ主催の男の会に行ってきたちょっと話聞いてくれ聞いてほしい来てくれた大学生の男めちゃめちゃ硬かったちょいMだったちょま間違いない後輩から調べたら多分 M寄りの大学生だよ主催者君M寄りだよお前らと話したいんだほんと M寄りに感じる話さしてスピーカーじゃなくてマイクでさ俺ら撮れるじゃん撮れないじゃんかねえよ一般人なんて数%しかいねーだろしかも意識高いことができるわけないじゃんでもねちょっとでも打コンで聞いてるっていうねお前らのためだったらなんだってするぞっていうことだから違う違う絶対ちゃう俺が優勝最弱優勝だ優勝候補出してそれに対する耐久力耐久性あるからうんこちゃんだったらやっぱそう思うかしかねーじゃんやっぱり思うよ視聴者が5人とか6人いたらね元サーファーだったらそう思うよね耐久しかないねぇなんでそりゃ俺自身がああそういうのが好きだしそうだよねただただみんながこれを考えてくれたらこんなにいいの0人だよブレイク以下休憩時間以下ってことか分が悪いつまり敬遠されてるってこと遠くね話してるとこっちの方が好きだからで終了しちゃってるから全然話してない俺のOSがAndroidだったから途中からiOS くらいな復帰してたの復帰したわなんでだって寝た後すぐにご飯食べないじゃん寝る前睡眠時間5時間とか 6時間食べれるのあったなんか寝るのはいいけどあんまりにも俺コンビニとか行こうとするとすごい嫌なのチェーンのパン屋とかでも行ったことねえよな無理だわパン屋すごい無理だからすごいむやみに嫌いなのに近々復活するかもしれない静岡県民だったら静岡モミノキヨクサレドリブンスプーキダンレシピぐらいのペースだよね彼女いないしんなこたねえだろ女に LINEずっと無視されるとかキくそだぞ身の程を弁えねえか当時の流行りでしたから「意味が分からない」ってのが相手で目が覚めてしまったという事件でした思っちょう?

ヒカキンは神だと思わない? まあでもあれだろいろんな道あったじゃんあんま押しちゃうと YouTubeとかででも俺ね井上達人で
『井上刺したろか朝倉』って言われたのいや朝倉は朝倉結構いい女でしょよくナンパしてるでしょ朝倉あのー何押しの一点だよ目を離した隙にっていうなんかあれだよ不謹慎だけどさあれだよね露出が多い女が好きなんだよね俺だったら露出が高い女そういうのやっぱ惹かれるんだよね一途だから何がいいかって言うといい女が悪い女なんだよ両方好きになるじゃんただの選択肢として出てくるじゃんでもそれを全部朝倉のせいにしちゃうのが常習化しててだから露出が少ないみたいなことは言われるけどでもいいとこだよね本質」ずっと好きだけど難しいねこれね 100%朝倉だよあいつのことねぇここ合うわ間が取れる? あーわかる? こっちがねぇしたらこっちがなんかさぁ空いてんだ向こうも仕事してんだぞねぇ俺も行かなきゃいけないけどさぁマジで薬撃った? 薬って撃ってる?薬って何?レッドブルの事言ってんの? お前仕事忙しいんだったらさぁこういうのはさぁこんなの2日じゃねぇよいやぁ優秀だわぁこんだけぇこんな優秀がさぁ 100のことやってさぁ1つ当たり前だったら 100のことやってるってぇ大丈夫か? 英語よぉまぁたなんだよその言い訳が今日さぁ用があってねぇ帰ってきたらさぁ英語の教科書読みながらさぁ配信し効率的読み方をしてねぇと思ったんだけどさぁでさぁ俺の今日の授業さぁ 1時間目の教科書読ませて満足したんだけどなんか盛り上がんねぇからさぁ 2時間の授業も終わったしさぁ 3時間授業受けろって言われたけどなんもないわぁお前は優秀だがぁそのぉぉーめちゃめちゃ優秀なんだがぁ 100この授業 3時間ぶっ続けでやったけどぉ全然成績悪いけど俺こういうの全部嘘なんだぜこういうのテレビで 100%嘘だけどって言ったらみんなそうだよぉこのゴーゴーファイブも全部嘘ですって全部フィクションですなんか議員とかが政治家を目指してるとかそういうのないんだったら嘘松を満喫して生きてる俺に何かあったらすみっこにジンワリと一緒にいてやる約束するよチャンネル替えとかになったらリアルガチで俺嘘だぜってなるからわかっただから嘘だよ友達とこういうとこいてるとか他の人にこういうふうに接してるってのが絶対必要なことだったらいいよなぁコミュニケーションにおいて視覚から得るものが90% 聴覚から得られるものが10%ってことだぜお前のコミュニケーション能力よ 100円で文句言うな今年 100円な話じゃない最近友達できたんだけどあんまり有名じゃない人なんだけど有名じゃなくて 100円以上文句言ってる人がいてヤバくないかそれお前の友達な俺にもスピーカー送れスピーカーあぁそうかいいだろ別にだから違うのは俺の俺がお前を出ないようにしてたうわぁやっぱ違うわぁお前ほんとにお前の中ではないやでもいいだろもし仮にもしも俺お嬢をすたるってバレないようにやってたらどうなってたかわかんないなんでも言うこと俺がなんでもうーんまぁ歌にしましょうカラオケに集中集中当日まっちゃんカラオケでは俺は無理無理絶対勘の言い過ぎ音程外すなあぁそうだ忘れてた蜂鬼って俺たちとめっちゃ合う合いませんあなたの名前はありませんあなたがあなたであるという理由でお断りしましたこれってめっちゃ傷つく言い方じゃない!? ボクモ同上アナタノ同ジデムリネェほんとにダメだだめぇなんで!?!? 同上!? やめよちょっと待ってな 1万円はなんか買ってこようこういう時にはこういう向かうでこういう時に俺マジで話するぜみんなをリアリストにリアリスにリアニストにさっさとキャッシュレスの方に行こうぜ俺ができる馬券のキャッシュレスまあでもあれじゃんねーどうしようかなねえできるもんなじゃあ俺キャッシュレスで支払い方とか俺はまあまあいろいろ調べてから買うかなもう決めてるからさこんなんで悩んでる俺にアドバイスなんだっけ現金好きすぎだろ近藤だいじょうぶか俺みたいなのだけじゃなくて全部好きだよコンビニとかカード使えるじゃんお前のためだったらどんなことしても許されるんだねすごく優しいというか俺のために... ってのが大きいんだけど何しろキャッシュレスだけにしてもすごいすごい優しいここにある限定公開された電子書籍も見れるね全部ボーイズ簿乙女簿こっち見てくださいリンクでペンギン簿もいけますよーうおっいいじゃねえか

うーん加藤純一っぽい上に（記事をクリーンにしたかったので過激なことは言わないでほしかった）、長めの雑談トークをしている風には見えますが、いかんせん局所的な論理性・一貫性が全くない。
これはファインチューニングの問題でしょうか？やろうとしていることとLLMとの相性の問題でしょうか？

ファインチューニングに関しては、学習データの少なさが問題の可能性もありますし、形式に問題があるかもしれません。

LLMに関しては、もちろん手法の問題はあるでしょうが、「3bモデルではなく、7bモデルでもいけるのでは？」という可能性も捨てきれません。
7bモデルは「吾輩は猫である」の続きをけっこういい感じに書けたという記事もあり、Open-CALMが雑談に向いていないとはあまり思えません。とりあえず、7bで学習してみて、どうなるかを見たいと思います。

もしかしたらハイパーパラメーターの問題かもしれない。
ファインチューニング時のハイパーパラメータとして、全部で下記があります。

class FineTunerPropertiesBase:
    '''
    `FineTunerBase`のプロパティを管理するクラス
    '''
    
    def __init__(
        #(省略)
        n_token = None,
        useint8:bool = True,

        #LoRAのハイパーパラメータ
        lora_r:int = 8,
        lora_alpha:int = 16,
        lora_dropout:float = 0.05,
        lora_bias:str = "none",

        #Trainerクラスのハイパーパラメータ
        ta_epochs:int = 4,
        ta_logging_steps:int = 200,
        ta_save_steps:int = 100000,
        ta_save_total_limit:int = 3,
        ta_train_batch_size:int = 8,
        ta_warmup_steps:int = 200,
        ta_weight_decay:float = 0.1,
        ta_learning_rate:float = 5e-4,
    ):

Trainerクラスのパラメーターに関しては主に精度の話なので性質はある程度把握できているつもりでいますが、自分のなかではLoRAのハイパーパラメーターがブラックボックスになっています。次回までに調査をします。
しかし、学習は一回につき丸々一日かかるので、気軽に実験できないのが苦しいところです。

一方で、出力時のハイパーパラメーターは下記のようなものがあります。

    def __init__(
        self,
        max_new_tokens:int = 64,
        do_sample:bool = True,
        temperature:float = 0.7,
        top_p:float = 0.75,
        top_k:int = 40,
        no_repeat_ngram_size:int = 2
    ):

こちらの意味はこの記事がしっかり解説しています。
こちらは出力が5分で終わるのでいろいろ試したいところ。特に、no_repeat_ngram_sizeが一貫性のカギを握っているのかもしれない。

次やること

現在cyberagent/open-calm-7bに20行のファインチューニングを施しています。
これで7bの場合どうなるかを観察し、出力時のハイパーパラメーターを変更するとどうなるかを調査します。
（次々回かもしれませんが）LINE社LLMに再チャレンジしたいと思います。
データをinputs_idとlabelsに分け、どうなるかを観察します。これでも今回のような結果が得られた場合は、諦めます...

現在の課題

新しい課題

stabilityai/japanese-stablelm-base-alpha-7bのファインチューニングができない。
Open-CALMよりずっといいことを自称している（出典）ので、使ってみたかったのですが、エラーが発生してファインチューニングまでたどり着かない。(建てたissue)仕様としては、transformersとは別のコードでモデルを構築させ、transformers経由でそのコードにアクセスして実行しているため、おそらく今回やろうとしているint8+LoRAファインチューニングを想定していない可能性があると予想しています。さすがに僕のGPUでは丸ごとファインチューニングには耐えられないので、開発者の対応を待ちます。
シンプルにChatGPTをファインチューニングする。
LLMの性能で悩むぐらいなら、もう金払ってChatGPTをファインチューニングすればいいという考え方もできます。ただ出力のたびにお金がかかるのがしんどいですが。やるとしたらcurieモデルが適切だと思います。とりあえずクレジットカードが必要とのことなので、現在クレジットカード申請中です。

引き続きの課題

書き起こし精度が最善とは言い難いです。例えばよく登場する配信者「もこう」さんは「モコ」とかに書き起こされ、検索しても0件ヒットです。今開発しているこのAIも知識は完全に書き起こしデータに依存するので、この書き起こし精度がプロジェクト全体のボトルネックになっています。
書き起こしAIにOpenAI社の「Whisper」のlarge-v2モデルを使用していますが、こちらをファインチューニングする必要があるものと考えています。
文字ベースのデータでも出来るという情報もありますが、できれば音声+文字データでファインチューニングした方がよさそう、しかしデータがない。誰か手動書き起こしデータ作りしてほしいものです；；（時間がない）