MoCo：モメンタム更新のPyTorch実装+注意点
MoCoとは? MoCoは自己教師あり学習の手法の一つで，特に表現学習に使われる．教師ラベルなしで大量のデータから特徴量を学習することが目的． Momentum updateの仕方 PyTorc...
0
0
Comment0
10 search resultsShowing 1~10 results
Stocked
You need to log-in
Pytorchの.ckptファイルの引っ越し．モデル構造を変更したときの重みの移行
モデルをリファクタリングして構造を変えたあと，前のckptから重みをロードしたいときのためのメモ そもそもstate_dictの構造とは？ (既にご存知の方は読み飛ばしてください．） state...
3
2
Comment0
パラメータごとにSchedulerを変えるにはLambdaLRが超便利
モチベーション どんなときにSchedulerが複数いるのか？ 事前学習済みモデルをヘッドだけ変えてファインチューニングするときなど， バックボーンは細かい学習率でwarmupしたい． でもヘッ...
0
1
Comment0
pl.LightningModuleでWarmup Cosine Decay Schedulerをステップ単位で更新
pytorch-lightningの学習サイクルで，WarmupCosineLRSchedulerを使った学習率設定を紹介． ここでは，エポック単位ではなくてステップ単位の更新を説明します． 準...
1
0
Comment0
MongoDBをMacOSにインストール
概要 MacOSへのMongoDBインストールのメモ. 参考にした公式Document Install MongoDB Community Edition on macOS 今回は関係ないですが...
15
14
Comment0
Pytorch lightningでDeepspeedのcheckpointをロード
lighitningでdeepspeedを用いる方法は下記を参考にしてください． Deepspeedのcheckpointのロード deepspeedのチェックポイントはディレクトリになっており...
0
0
Comment0
SnapFlingBehaviorを使ってLazyListのスクロールで要素を常に真ん中に表示する
SnapFlingBehaviorの紹介 LazyRowやLazyColumnにてスクロール後，中心に近い要素がセンターにSnapされるようになります． 基本的な形 @OptIn(Experim...
1
1
Comment0
Modifier.graphicsLayerでPCの開閉を再現してみた
Android Jetpack composeのModifier.graphicsLayerの紹介 graphicsLayerを使うと，物体の位置や，回転，縮小などを指定することができます． 指...
5
3
Comment0
任意のビデオエンコーダとHuggingFaceのデコーダモデルをつなげて自作のビデオキャプショニングモデルを作る
PyTorch HubなどHuggingFace以外から取得したビデオエンコーダとHuggingFaceのデコーダを使って，ビデオそのものを入力とするキャプショニングモデルの実装方法を紹介します...
4
5
Comment0
ProcessingをVSCodeで実行（Windows）
動機 新入部員にProcessingをやってもらうことになり、その時に読むメモとしてまとめた。 ダウンロード VSCode VSCodeをダウンロード Visual Studio Code – ...
4
2
Comment0
10 search resultsShowing 1~10 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles