言語モデルの推論時空間計算量をO(log n)にする（その2）
以前書いた記事からしばらく実験を続けてアーキテクチャの改善があったので報告です。 レポジトリと学習済み重み（事前学習と対話ファインチューニング）を公開しています。 現状のアーキテクチャは下図（チ...
4
0
Comment0
7 search resultsShowing 1~7 results
Stocked
You need to log-in
RetNetの係数を入力依存のベクトルにする
https://qiita.com/3405691582/items/c6fa00e58181b6bb6ca5 の続きのようなメモです。 RetNetの隠れ状態を含んだ形の計算式は以下のように書...
1
0
Comment0
RetNetを線形時変システムにする
RetNetの計算式は以下のようになっています： Y_i=X_iW_Q\sum_{j\in[0,i]}A^{i-j}W_K^\mathsf{T}X_j^\mathsf{T}X_jW_V ここで$...
3
5
Comment0
言語モデルアーキテクチャSConvの紹介
無限長系列を扱うことができる言語モデルアーキテクチャを考案したのでそのメモです。 レポジトリにコードがあります。（色々継ぎ足しつつツギハギのコードなので汚いですが…） 以下では提案手法をSCon...
3
4
Comment0
Jetson Nano上のコンテナでpytorch使えるまでメモ（2023/08）
JetPack4.6.1をインストール SDカードに入れるイメージは以下のリンクにあります。 https://developer.nvidia.com/jetpack-sdk-464 SDカード...
1
0
Comment0
Transformer U-Netによる言語モデル
準備：Transformer Based AutoEncoder (TBA) 先日、VRChatML集会という場でTransformerを利用したAutoencoderの実装について話す機会があ...
2
3
Comment0
Vket6ブース「うさみみ雑貨店」解説
概要 初投稿です。 バーチャルマーケット6に出展したブース「うさみみ雑貨店」の機構解説です。 サンプルコードはGitHubにあります。 回転数の記録 機構で作られる空間は0回転目、1回転目…の複...
37
17
Comment0
7 search resultsShowing 1~7 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles