Pytorchの「.detach()」と「with no_grad():」と「.requires_grad = False」の違いが計算グラフにどう影響を与える？
内容 pytorchで勾配計算をしない方法には tensorの.detach()を使って計算グラフを切る GANのサンプルコードでよく見かける with文を使ってtorch.no_grad()で...
133
88
Comment0
95 search resultsShowing 1~20 results
Stocked
You need to log-in
RenderのDockerコンテナは起動時に/tmp/をクリアする（ようになった）
発端 授業でCI/CDを紹介するために，dockerコンテナをrender.comにデプロイする最小のサンプルコードを作っていました． 修正前のDockerfile FROM python:sl...
1
1
Comment0
起動中のDockerコンテナでGPUが使えてたのにしばらくすると使えなくなる（Failed to initialize NVML: Unknown Errorになる）
Dockerコンテナを立ち上げてでGPUが使えてたのに，しばらくするといつの間にかGPUが使えなくなる（Failed to initialize NVML: Unknown Errorになる，t...
55
41
Comment1
VScodeのRemote Development+Dev Containersでリモートコンテナに接続しようとしたらローカルのDockerが起動するようになってしまった
リモートのGPUサーバにDockerデーモンを立てて，そこに手元のPCから（docker desktopを起動して）VSCodeのRemote Development / Dev Contain...
0
1
Comment0
CUDA/nvidia driver/OSバージョンをone-liner確認
CUDAバージョンを確認．nvidia-smiのオプションをもっと調べると，もうすこしまともな方法がありそう $ nvidia-smi -q -u | grep "CUDA Version" |...
4
4
Comment0
webdatasetの使い方：shardの作り方からセマンティックセグメンテーションのデータセットを読み込むまで
1. webdatasetとは webdatasetとは，データセットをtarアーカイブで読み書きするためのライブラリです． WebDataset reads dataset that are ...
23
13
Comment1
webdatasetの使い方上級編2：shard読み込みをDataParallel (DP)で
これはwebdatasetの使い方の続編です． この記事では，data parallel (DP)の学習ループでwebdatasetを使う方法を説明します． distributed data p...
1
1
Comment0
webdatasetの使い方上級編3：shard読み込みをlightningのDistributedDataParallel (DDP)で
これはwebdatasetの使い方の続編です． この記事では，pytorch lightningのdistributed data parallel (DDP)でwebdatasetを使う方法を...
3
4
Comment0
webdatasetの使い方上級編1：multiprocessingでshard作成
これはwebdatasetの使い方の続編です． webdatasetは複数のshardと呼ばれるtarファイルにデータを固めて読み込むライブラリです．shardの作り方は上の記事に書いたとおりで...
1
1
Comment0
multiprocessingで一つのtqdmを複数プロセスから更新する
複数プロセス（worker）を並列実行して，一つのプログレスバーを更新したい． overview Pool + imap_unordered()という手もあるが， 引数にリストなどのiterab...
1
3
Comment0
torchdataとwebdatasetの使いどころ
TorchData pytorchでデーラローダーを作成する方法は色々ありますが，最近（2022年前半）にTorchDataがアナウンスされました． https://github.com/pyt...
10
11
Comment0
torchdataの使い方：datapipeの扱い方から物体検出データセットを読み込むまで
1. torchdataとは torchdataとは，従来のdatasetを拡張するpytorchのモジュールです． torchdata is a library of common modul...
3
4
Comment1
Pythonで画像をメモリ上でJPEG圧縮・展開する（たぶん）正しい方法
まえがき pytorchでの学習では画像をnp.ndarrayなどの形式で読み込んだあとに，並進・回転・ガウスノイズ付加など，様々な変換をデータ拡張で行います． その一つにJPEGで圧縮してブロ...
9
7
Comment0
PyAVで動画の情報を取得する
PyAVとは 「PyAVで動画の任意のフレームを取得する」を参照してください． 動画ファイルの読み込みと情報の取得 動画ファイルに使われるコンテナ・コーデックは様々です．それらの情報を確認したい...
4
1
Comment0
torchinfoで3D CNNのパラメータを表示する
pytorchのモデルサマリを表示するのにはtorchsummaryがありますが，torchinfoのほうが新しいので，pre-trained 3D CNNを表示してみます． I3D C2D X...
3
1
Comment0
LaTeXiTでPowerPointに数式を貼り付ける
LaTeXiTはMacOS用のLaTeX数式作成ツールです．PowerPointやKeynoteなどに数式を載せるときに便利です． インストール MacTeXを入れると一緒に入ってます． 単体で...
9
10
Comment0
GluonCVでwebcam画像を物体検出，姿勢推定，セグメンテーション
GluonのCVモジュールが便利だったので，ノートPCのwebカメラの画像をCPUで処理してみた． 環境設定 まずはanacondaを入れる． conda create --name gluon...
3
2
Comment0
オンラインでプログラミングして実行できるサイト
プログラミング初心者の学生に「自習してね」と簡単に言うために，簡単にwebブラウザでプログラムを書いて実行できる環境が欲しい．いろいろあります． 高度なonline開発環境もありますが，それは別...
415
440
Comment9
事前学習済みResNetを切り貼りしてABNを作ってみる
事前学習済みのモデルを切り貼りすれば，少し手間を省いて新しいモデルを作ることができる． ここではResNet50をバラバラにして，ResNet50ベースのABN (attention branc...
0
2
Comment0
pytorchのtorchvision.datasetオブジェクトには和が定義されている
pytorchのtorchvision.datasetsのオブジェクトには和（加算）が定義されているのを知ったので，簡単な使い方を書いてみます． gistはこちら． 準備 import torc...
4
3
Comment0
95 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles