Help us understand the problem. What is going on with this article?

nvidia-smiコマンドの詳細ついて

More than 1 year has passed since last update.

Volatile GPU-Utilが0%なのにプロセスは立っててメモリは使われてる。ってことが起きた。
資料を見たけど、ただメモリだけ使ってるって状態なのだと解釈してる。

Thu Mar  2 13:49:14 2017       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 367.57                 Driver Version: 367.57                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX TIT...  Off  | 0000:02:00.0     Off |                  N/A |
| 22%   28C    P8    15W / 250W |    242MiB / 12206MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX TIT...  Off  | 0000:03:00.0     Off |                  N/A |
| 53%   83C    P2   227W / 250W |   8524MiB / 12206MiB |    100%      Default |
+-------------------------------+----------------------+----------------------+
|   2  GeForce GTX TIT...  Off  | 0000:83:00.0     Off |                  N/A |
| 22%   28C    P8    16W / 250W |    242MiB / 12206MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  GeForce GTX TIT...  Off  | 0000:84:00.0     Off |                  N/A |
| 37%   79C    P2   238W / 250W |   5633MiB / 12206MiB |     99%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0     16163    C   /home/ubuntu/torch/install/bin/luajit          240MiB |
|    1     16163    C   /home/ubuntu/torch/install/bin/luajit         8522MiB |
|    2     16163    C   /home/ubuntu/torch/install/bin/luajit          240MiB |
|    3     16163    C   /home/ubuntu/torch/install/bin/luajit          240MiB |
|    3     21068    C   ./darknet                                     5388MiB |
+-----------------------------------------------------------------------------+

nvidia-smiコマンドのみを使ってたので、詳細を知ると何か分かるのかと思ってメモした。

  • cpuとgpuの紐付けを見る場合
ps f -o user,pgrp,pid,pcpu,pmem,start,time,command -p `lsof -n -w -t /dev/nvidia*`

参照
http://qiita.com/miyamotok0105/items/033b850a205f958808e9



ほとんどのユーザーは、CPUの状態を確認する方法、空きメモリ量を確認する方法、空きディスク容量を調べる方法を理解しています。対照的に、GPUの健全性と状態を把握することは、歴史的に困難でした。見た目がわからない場合は、システム内のGPUのタイプと機能を判断することが難しい場合もあります。ありがたいことに、NVIDIAの最新のハードウェアおよびソフトウェアツールは、この点で優れた改善をしました。

このツールは、NVIDIAのシステム管理インターフェイス(nvidia-smi)です。カードの世代によって、さまざまなレベルの情報を収集することができます。さらに、GPU設定オプション(ECCメモリ機能など)を有効または無効にすることができます。

さて、NVIDIA GPUでGPGPUコードを実行するのに問題がある場合は、nvidia-smiを使用すると便利です。たとえば、一部のシステムでは、/ devにある適切なNVIDIAデバイスはブート時に作成されません。ルートとして単純なnvidia-smiクエリを実行すると、すべてのカードが初期化され、/ devに適切なデバイスが作成されます。それ以外のときは、GPUカードがすべて表示され、適切に通信されていることを確認するだけです。 Tesla K80 GPUカードを1つ搭載した最新バージョンのデフォルト出力は次のとおりです。

Tue Apr  7 12:56:41 2015       
+------------------------------------------------------+                       
| NVIDIA-SMI 346.46     Driver Version: 346.46         |                       
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla K80           On   | 0000:05:00.0     Off |                  Off |
| N/A   32C    P8    26W / 149W |     56MiB / 12287MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla K80           On   | 0000:06:00.0     Off |                  Off |
| N/A   29C    P8    29W / 149W |     56MiB / 12287MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

持続モード

Linuxでは、GPUを持続モードに設定して、アプリケーションがカードにアクセスしていなくてもNVIDIAドライバをロードし続けることができます。 これは、一連の短いジョブを実行しているときに特に便利です。 持続モードはより多くの電力を使用しますが、GPUアプリケーションが開始されるたびに発生するかなり長い遅延を防ぎます。 GPUに特定のクロック速度または電力制限を割り当てた場合(NVIDIAドライバのアンロード時に変更が失われるため)も必要です。 次のコマンドを実行して、すべてのGPUSで持続モードを有効にします。

GPU初期化が遅いという問題がある
https://github.com/dmlc/cxxnet/issues/108
Persistence Daemon
http://docs.nvidia.com/deploy/driver-persistence/index.html#persistence-daemon
にも載っているが、これを有効にしていると電力はかかるがgpuドライバのロード時間が短縮される。
pytorchやchainerの推定処理で2秒近く短縮された。

持続モードonにする

nvidia-smi -pm 1

持続モードoffにする

nvidia-smi -pm 0

Windowsでは、nvidia-smiは持続モードを設定できません。 代わりに、計算用GPUをTCCモードに設定する必要があります。 これは、NVIDIAのグラフィカルなGPUデバイス管理パネルで行う必要があります。

nvidia-smiでサポートされているGPU

NVIDIAのSMIツールは、2011年以降にリリースされたNVIDIA GPUを本質的にサポートしています。これらには、フェルミや高級アーキテクチャのファミリ(Kepler、Maxwellなど)のTesla、Quadro、GRID、GeForceデバイスが含まれます。

サポートされている製品は次のとおりです。
テスラ:S1070、S2050、C1060、C2050 / 70、M2050 / 70/90、X2070 / 90、K10、K20、K20X、K40、K80
Quadro:4000,5000,6000,7000、M2070-Q、K-シリーズ、M-シリーズ
GeForce:TeslaおよびQuadro製品よりも利用可能な測定基準が少なく、さまざまなレベルのサポート

GPUステータスのクエリ

顧客にベンチマークサービスとして提供するMicrowayのGPUテストドライブクラスタには、NVIDIAの最新Tesla GPUグループが含まれています。 これらは、NVIDIAの高性能コンピューティングGPUであり、多くの健康状態情報を提供します。 以下の例は、この内部クラスタから取得したものです。

使用可能なすべてのNVIDIAデバイスを一覧表示するには、次のコマンドを実行します。

[root@md ~]# nvidia-smi -L
GPU 0: Tesla K40m (UUID: GPU-d0e093a0-c3b3-f458-5a55-6eb69fxxxxxx)
GPU 1: Tesla K40m (UUID: GPU-d105b085-7239-3871-43ef-975ecaxxxxxx)

各GPUの詳細を記載するには、

[root@md ~]# nvidia-smi --query-gpu=index,name,uuid,serial --format=csv
0, Tesla K40m, GPU-d0e093a0-c3b3-f458-5a55-6eb69fxxxxxx, 0323913xxxxxx
1, Tesla K40m, GPU-d105b085-7239-3871-43ef-975ecaxxxxxx, 0324214xxxxxx

GPUブーストの監視と管理

NVIDIAが最新のGPUに含まれているGPUブースト機能により、負荷に応じてGPUクロックが変化します(電力とサーマルヘッドルームが利用可能な限り最大性能を達成します)。 しかし、利用可能なヘッドルームの量は、アプリケーションによって(そして入力ファイルによってさえも)変わりますので、ユーザーと管理者はGPUの状態を常に把握しておく必要があります。

使用可能なクロック速度の一覧は、各GPU(この場合は、Tesla K80)で表示できます。

nvidia-smi -q -d SUPPORTED_CLOCKS

GPU 0000:04:00.0
    Supported Clocks
        Memory                      : 2505 MHz
            Graphics                : 875 MHz
            Graphics                : 862 MHz
            Graphics                : 849 MHz
            Graphics                : 836 MHz
            Graphics                : 823 MHz
            Graphics                : 810 MHz
            Graphics                : 797 MHz
            Graphics                : 784 MHz
            Graphics                : 771 MHz
            Graphics                : 758 MHz
            Graphics                : 745 MHz
            Graphics                : 732 MHz
            Graphics                : 719 MHz
            Graphics                : 705 MHz
            Graphics                : 692 MHz
            Graphics                : 679 MHz
            Graphics                : 666 MHz
            Graphics                : 653 MHz
            Graphics                : 640 MHz
            Graphics                : 627 MHz
            Graphics                : 614 MHz
            Graphics                : 601 MHz
            Graphics                : 588 MHz
            Graphics                : 575 MHz
            Graphics                : 562 MHz
        Memory                      : 324 MHz
            Graphics                : 324 MHz

上記の出力は、メモリクロック速度が2つしかサポートされていないことを示します(2505 MHzおよび324 MHz)。 2505MHzで動作するメモリでは、サポートされているGPUクロック速度は25種類あります。 324 MHzで動作するメモリでは、1つのGPUクロック速度(アイドル状態のGPU状態)のみがサポートされています。 Tesla K80では、GPU Boostが自動的にこれらの速度を管理し、可能な限り速く実行します。 Tesla K40のような他のモデルでは、管理者は特定のGPUクロック速度を選択する必要があります。

現在のGPUクロック速度、デフォルトクロック速度、および可能な最大クロック速度を確認するには、次のコマンドを実行します。

nvidia-smi -q -d CLOCK

GPU 0000:04:00.0
    Clocks
        Graphics                    : 875 MHz
        SM                          : 875 MHz
        Memory                      : 2505 MHz
    Applications Clocks
        Graphics                    : 875 MHz
        Memory                      : 2505 MHz
    Default Applications Clocks
        Graphics                    : 562 MHz
        Memory                      : 2505 MHz
    Max Clocks
        Graphics                    : 875 MHz
        SM                          : 875 MHz
        Memory                      : 2505 MHz
    SM Clock Samples
        Duration                    : 3730.56 sec
        Number of Samples           : 8
        Max                         : 875 MHz
        Min                         : 324 MHz
        Avg                         : 873 MHz
    Memory Clock Samples
        Duration                    : 3730.56 sec
        Number of Samples           : 8
        Max                         : 2505 MHz
        Min                         : 324 MHz
        Avg                         : 2500 MHz
    Clock Policy
        Auto Boost                  : On
        Auto Boost Default          : On

理想的には、すべてのクロックを常に最高速度で実行したいと考えています。 ただし、これはすべてのアプリケーションで可能ではありません。 各GPUの現在の状態とクロックの減速の理由を確認するには、PERFORMANCEフラグを使用します。

nvidia-smi -q -d PERFORMANCE

GPU 0000:04:00.0
    Performance State               : P0
    Clocks Throttle Reasons
        Idle                        : Not Active
        Applications Clocks Setting : Not Active
        SW Power Cap                : Not Active
        HW Slowdown                 : Not Active
        Unknown                     : Not Active

GPUクロックのいずれかが遅い速度で実行されている場合、上記のクロックスロットル理由の1つ以上がアクティブとしてマークされます。 HW SlowdownまたはUnknownがアクティブである場合は、電源または冷却の問題を示す可能性が最も高いため、条件に関する最も重要なものがあります。 残りの状態は、通常、カードがアイドル状態であるか、またはシステム管理者によって手動で低速モードに設定されていることを示します。

システムトポロジの確認

より高度なNVIDIA GPU機能(GPU Directなど)を適切に利用するには、システムトポロジが適切に構成されていることが重要です。 このトポロジは、PCI-Expressデバイス(GPU、InfiniBand HCA、ストレージコントローラなど)が相互にまたはシステムのCPUにどのように接続されるかを示します。 正しくない場合は、特定の機能の速度が低下したり、動作が完全に停止する可能性もあります。 このような問題に取り組むために、最近のバージョンのnvidia-smiには、実験的なシステムトポロジビューが含まれています。

nvidia-smi topo --matrix

        GPU0    GPU1    GPU2    GPU3    mlx4_0  CPU Affinity
GPU0     X      PIX     PHB     PHB     PHB     0-11
GPU1    PIX      X      PHB     PHB     PHB     0-11
GPU2    PHB     PHB      X      PIX     PHB     0-11
GPU3    PHB     PHB     PIX      X      PHB     0-11
mlx4_0  PHB     PHB     PHB     PHB      X 

Legend:

  X   = Self
  SOC = Path traverses a socket-level link (e.g. QPI)
  PHB = Path traverses a PCIe host bridge
  PXB = Path traverses multiple PCIe internal switches
  PIX = Path traverses a PCIe internal switch

このセクションを見直すと、慣れていくこともありますが、非常に価値があるかもしれません。 上記の構成では、2台のTesla K80 GPUと1台のMellanox FDR InfiniBand HCAがすべてサーバーの最初のCPUに接続されています。 CPUは12コアのXeonであるため、トポロジツールではジョブを最初の12個のCPUコアに割り当てることをお勧めします(アプリケーションによって異なります)。 このトピックに関するご質問は、HPC GPUの専門家にお問い合わせください。

すべてのGPUの詳細を表示する

特定のGPUで使用可能なすべてのデータを一覧表示するには、-iを使用してカードのIDを指定します。 古いTesla GPUカードの出力は次のとおりです。

nvidia-smi -i 0 -q

==============NVSMI LOG==============

Timestamp                       : Mon Dec  5 22:05:49 2011

Driver Version                  : 270.41.19

Attached GPUs                   : 2

GPU 0:2:0
    Product Name                : Tesla M2090
    Display Mode                : Disabled
    Persistence Mode            : Disabled
    Driver Model
        Current                 : N/A
        Pending                 : N/A
    Serial Number               : 032251100xxxx
    GPU UUID                    : GPU-2b1486407f70xxxx-98bdxxxx-660cxxxx-1d6cxxxx-9fbd7e7cd9bf55a7cfb2xxxx
    Inforom Version
        OEM Object              : 1.1
        ECC Object              : 2.0
        Power Management Object : 4.0
    PCI
        Bus                     : 2
        Device                  : 0
        Domain                  : 0
        Device Id               : 109110DE
        Bus Id                  : 0:2:0
    Fan Speed                   : N/A
    Memory Usage
        Total                   : 5375 Mb
        Used                    : 9 Mb
        Free                    : 5365 Mb
    Compute Mode                : Default
    Utilization
        Gpu                     : 0 %
        Memory                  : 0 %
    Ecc Mode
        Current                 : Enabled
        Pending                 : Enabled
    ECC Errors
        Volatile
            Single Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Total           : 0
            Double Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Total           : 0
        Aggregate
            Single Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Total           : 0
            Double Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Total           : 0
    Temperature
        Gpu                     : N/A
    Power Readings
        Power State             : P12
        Power Management        : Supported
        Power Draw              : 31.57 W
        Power Limit             : 225 W
    Clocks
        Graphics                : 50 MHz
        SM                      : 100 MHz
        Memory                  : 135 MHz

上の例は、アイドルカードを示しています。以下は、GPUアクセラレーションされたAMBERを実行しているカードの抜粋です。

nvidia-smi -i 0 -q -d MEMORY,UTILIZATION,POWER,CLOCK,COMPUTE

==============NVSMI LOG==============

Timestamp                       : Mon Dec  5 22:32:00 2011

Driver Version                  : 270.41.19

Attached GPUs                   : 2

GPU 0:2:0
    Memory Usage
        Total                   : 5375 Mb
        Used                    : 1904 Mb
        Free                    : 3470 Mb
    Compute Mode                : Default
    Utilization
        Gpu                     : 67 %
        Memory                  : 42 %
    Power Readings
        Power State             : P0
        Power Management        : Supported
        Power Draw              : 109.83 W
        Power Limit             : 225 W
    Clocks
        Graphics                : 650 MHz
        SM                      : 1301 MHz
        Memory                  : 1848 MHz

残念ながら、以前のMシリーズの受動的に冷却されたTesla GPUでは、nvidia-smiに温度が報告されていません。最近のQuadroおよびTesla GPUは、より多くの量のメトリックデータをサポートします。

==============NVSMI LOG==============

Timestamp                           : Tue Apr  7 13:01:34 2015
Driver Version                      : 346.46

Attached GPUs                       : 2
GPU 0000:05:00.0
    Product Name                    : Tesla K80
    Product Brand                   : Tesla
    Display Mode                    : Disabled
    Display Active                  : Disabled
    Persistence Mode                : Enabled
    Accounting Mode                 : Enabled
    Accounting Mode Buffer Size     : 128
    Driver Model
        Current                     : N/A
        Pending                     : N/A
    Serial Number                   : 0324614xxxxxx
    GPU UUID                        : GPU-81dexxxx-87xx-4axx-79xx-3ddf4dxxxxxx
    Minor Number                    : 0
    VBIOS Version                   : 80.21.1B.00.01
    MultiGPU Board                  : Yes
    Board ID                        : 0x300
    Inforom Version
        Image Version               : 2080.0200.00.04
        OEM Object                  : 1.1
        ECC Object                  : 3.0
        Power Management Object     : N/A
    GPU Operation Mode
        Current                     : N/A
        Pending                     : N/A
    PCI
        Bus                         : 0x05
        Device                      : 0x00
        Domain                      : 0x0000
        Device Id                   : 0x102D10DE
        Bus Id                      : 0000:05:00.0
        Sub System Id               : 0x106C10DE
        GPU Link Info
            PCIe Generation
                Max                 : 3
                Current             : 1
            Link Width
                Max                 : 16x
                Current             : 16x
        Bridge Chip
            Type                    : PLX
            Firmware                : 0xF0472900
        Replays since reset         : 0
        Tx Throughput               : N/A
        Rx Throughput               : N/A
    Fan Speed                       : N/A
    Performance State               : P8
    Clocks Throttle Reasons
        Idle                        : Active
        Applications Clocks Setting : Not Active
        SW Power Cap                : Not Active
        HW Slowdown                 : Not Active
        Unknown                     : Not Active
    FB Memory Usage
        Total                       : 12287 MiB
        Used                        : 56 MiB
        Free                        : 12231 MiB
    BAR1 Memory Usage
        Total                       : 16384 MiB
        Used                        : 2 MiB
        Free                        : 16382 MiB
    Compute Mode                    : Default
    Utilization
        Gpu                         : 0 %
        Memory                      : 0 %
        Encoder                     : 0 %
        Decoder                     : 0 %
    Ecc Mode
        Current                     : Disabled
        Pending                     : Disabled
    ECC Errors
        Volatile
            Single Bit            
                Device Memory       : N/A
                Register File       : N/A
                L1 Cache            : N/A
                L2 Cache            : N/A
                Texture Memory      : N/A
                Total               : N/A
            Double Bit            
                Device Memory       : N/A
                Register File       : N/A
                L1 Cache            : N/A
                L2 Cache            : N/A
                Texture Memory      : N/A
                Total               : N/A
        Aggregate
            Single Bit            
                Device Memory       : N/A
                Register File       : N/A
                L1 Cache            : N/A
                L2 Cache            : N/A
                Texture Memory      : N/A
                Total               : N/A
            Double Bit            
                Device Memory       : N/A
                Register File       : N/A
                L1 Cache            : N/A
                L2 Cache            : N/A
                Texture Memory      : N/A
                Total               : N/A
    Retired Pages
        Single Bit ECC              : 0
        Double Bit ECC              : 0
        Pending                     : No
    Temperature
        GPU Current Temp            : 34 C
        GPU Shutdown Temp           : 93 C
        GPU Slowdown Temp           : 88 C
    Power Readings
        Power Management            : Supported
        Power Draw                  : 25.65 W
        Power Limit                 : 149.00 W
        Default Power Limit         : 149.00 W
        Enforced Power Limit        : 149.00 W
        Min Power Limit             : 100.00 W
        Max Power Limit             : 175.00 W
    Clocks
        Graphics                    : 324 MHz
        SM                          : 324 MHz
        Memory                      : 324 MHz
    Applications Clocks
        Graphics                    : 875 MHz
        Memory                      : 2505 MHz
    Default Applications Clocks
        Graphics                    : 562 MHz
        Memory                      : 2505 MHz
    Max Clocks
        Graphics                    : 875 MHz
        SM                          : 875 MHz
        Memory                      : 2505 MHz
    Clock Policy
        Auto Boost                  : On
        Auto Boost Default          : On
    Processes                       : None

もちろん、私たちは、nvidia-smiツールのすべての可能な用途については扱っていません。 オプションの完全なリストを読むには、nvidia-smi -hを実行します(かなり長いです)。 カードの設定を変更する必要がある場合は、デバイスの変更セクションを参照してください。

 -pm,  --persistence-mode=   Set persistence mode: 0/DISABLED, 1/ENABLED
    -e,   --ecc-config=         Toggle ECC support: 0/DISABLED, 1/ENABLED
    -p,   --reset-ecc-errors=   Reset ECC error counts: 0/VOLATILE, 1/AGGREGATE
    -c,   --compute-mode=       Set MODE for compute applications:
                                0/DEFAULT, 1/EXCLUSIVE_THREAD,
                                2/PROHIBITED, 3/EXCLUSIVE_PROCESS
          --gom=                Set GPU Operation Mode:
                                    0/ALL_ON, 1/COMPUTE, 2/LOW_DP
    -r    --gpu-reset           Trigger reset of the GPU.
                                Can be used to reset the GPU HW state in situations
                                that would otherwise require a machine reboot.
                                Typically useful if a double bit ECC error has
                                occurred.
                                Reset operations are not guarenteed to work in
                                all cases and should be used with caution.
                                --id= switch is mandatory for this switch
    -ac   --applications-clocks= Specifies  clocks as a
                                    pair (e.g. 2000,800) that defines GPU's
                                    speed in MHz while running applications on a GPU.
    -rac  --reset-applications-clocks
                                Resets the applications clocks to the default values.
    -acp  --applications-clocks-permission=
                                Toggles permission requirements for -ac and -rac commands:
                                0/UNRESTRICTED, 1/RESTRICTED
    -pl   --power-limit=        Specifies maximum power management limit in watts.
    -am   --accounting-mode=    Enable or disable Accounting Mode: 0/DISABLED, 1/ENABLED
    -caa  --clear-accounted-apps
                                Clears all the accounted PIDs in the buffer.
          --auto-boost-default= Set the default auto boost policy to 0/DISABLED
                                or 1/ENABLED, enforcing the change only after the
                                last boost client has exited.
          --auto-boost-permission=
                                Allow non-admin/root control over auto boost mode:
                                0/UNRESTRICTED, 1/RESTRICTED

このツールを使用すると、NVIDIA GPUのステータスと状態を確認するのが簡単です。 時間の経過とともにカードを監視する場合は、nvidia-smiが必要以上にリソースを消費する可能性があります。 そのためには、C、Perl、Pythonバインディングを提供するNVIDIAのGPU管理ライブラリ(NVML)をご覧ください。 一般的に使用されるGangliaなどのクラスタツールでは、これらのバインディングを使用してGPUステータスをクエリします。

ログを出力

nvidia-smi -l 5 --query-gpu=utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv -f ./temp.csv

リアルタイムで監視

watch -n1 "nvidia-smi"

windowsの場合

下記にnvidia-smi.exeがあるので、パスを追加しておく。

C:\Program Files\NVIDIA Corporation\NVSMI

win10の環境変数の追加方法
http://www.wannko.net/windows10/etc/kankyo.html

参考

https://www.microway.com/hpc-tech-tips/nvidia-smi_control-your-gpus/
https://qiita.com/samacoba/items/368d67f2d7d4e11abdf7

miyamotok0105
C#->Python, Swift->PHP Laravel, Vuejs, AWS->? ITが好き。日本の技術を世界レベルへ。 最近はあまり記事書くのに時間が取れずに、エラー解消ポエムを呟いてる。
https://www.wantedly.com/companies/company_788076?ql=gaJpZM4Aq7PI&fbclid=IwAR3l-mt7gbT5lDekWHNLakUUy7Zkn17Gz7HgydVuMnCEC2F8--5h12K6xYA
gibjapan
受託・人材サービス・教育・コンサルなど多岐に渡り幅広く活動している会社です。
https://www.gibjapan.org
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away