LoginSignup
you_0421
@you_0421

Are you sure you want to delete the question?

Leaving a resolved question undeleted may help others!

RAPIDS(cudf他)のインストールができない

解決したいこと

miniconda環境でのRAPIDS(cudf他)のインストールに失敗してしまう。

psndasで処理をしているプログラムの高速化のため、datatframe型をGPUに渡した処理ができるとのうわさを聞いて
NVIDEAが提供しているRAPIDSなるものを試したいのですが、インストール段階で詰まっています。
解決方法・情報等ありましたらを教えて下さい。

エラー文

Looking in indexes: https://pypi.org/simple, https://pypi.nvidia.com
Collecting cudf-cu11
  Using cached cudf-cu11-23.8.0.tar.gz (6.8 kB)
  Preparing metadata (setup.py) ... error
  error: subprocess-exited-with-error

  × python setup.py egg_info did not run successfully.
  │ exit code: 1
  ╰─> [16 lines of output]
      Traceback (most recent call last):
        File "<string>", line 2, in <module>
        File "<pip-setuptools-caller>", line 34, in <module>
        File "C:\Users\007848\AppData\Local\Temp\pip-install-1qrlpaqc\cudf-cu11_913098a2fffe41f69f7f7207e3c38670\setup.py", line 137, in <module>
          raise RuntimeError(open("ERROR.txt", "r").read())
      RuntimeError:
      ###########################################################################################
      The package you are trying to install is only a placeholder project on PyPI.org repository.
      This package is hosted on NVIDIA Python Package Index.

      This package can be installed as:
      ```
      $ pip install --extra-index-url https://pypi.nvidia.com cudf-cu11
      ```
      ###########################################################################################

      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
error: metadata-generation-failed

× Encountered error while generating package metadata.
╰─> See above for output.

note: This is an issue with the package mentioned above, not pip.
hint: See above for details.

入力コマンド

pip --trusted-host pypi.nvidia.com --trusted-host pypi.org install --extra-index-url=https://pypi.nvidia.com cudf-cu11

環境

conda 23.7.3
Python 3.10.0
cuda 11.8
NVIDEAドライバ 522.06

自分で試したこと

conda install -c rapidsai -c conda-forge -c nvidia cudf=23.10 python=3.10 cuda-version=11.8

上記も試しましたが、cudfが見つかりませんというようなエラー文のためpipでのインストールで行こうと考えています。

・Pythonバージョン:3.10.12 → 3.10.0 ×

0

2Answer

どういう経緯でそうなってるのか分かりませんが、インストール方法は公式ドキュメント https://docs.rapids.ai/ に記載があります。そちら済んでるのでしょうか。

スタンダードなパッケージ群
pip install --extra-index-url=https://pypi.nvidia.com cudf-cu11 dask-cudf-cu11 cuml-cu11 cugraph-cu11 cuspatial-cu11 cuproj-cu11 cuxfilter-cu11 cucim

Google colabが似た環境でしたので、そちらで試したところ上記のエラーはありません。
(念のためにvenvしたほうがよいかもしれません)

1

Comments

  1. @you_0421

    Questioner

    ご回答ありがとうございます。
    公式ドキュメントは一通り目を通したつもりです。記載が漏れていて申し訳ありません。
    公式ドキュメントに従って環境を整えて試したはずですが、質問のエラー文の通りインストールに失敗してしまいます。
    pip installと--extra~の間の

    --trusted-host pypi.nvidia.com
    

    ですが、接続エラーを吐くためこれを入れて回避しています。

  2. pip, setuptools, wheelは最新版にアップデート済みでしょうか。

    System Requirementsを見落としてましたが

    Windows 11 using a WSL2 specific install

    とあるので、WSL2が使えるならそっちで試した方が良いかもしれません。

  3. @you_0421

    Questioner

    ご返信ありがとうございます。
    pip,setuptools,wheelは最新バージョンでした。
    WSL2というのは、仮想OSという認識であっていますか。
    もし仮想OSならば、現在の私の組織のルール上導入が厳しいので、試すことは厳しいかもしれません。

  4. WSL2については調べてください。

    現状システム要件を満たせないのでRAPIDSを扱うのは難しいと思われます。

datatframe型をGPUに渡した処理ができるとのうわさを聞いて

残念ながらうわさでは?

miniconda環境からanaconda環境で実行
pandas、からpolarsへ移管
polarsもminiconda環境ではダメかも。

の対策でしょうか?

断然、用途限定ではnumpyが最速のようです。

1

Your answer might help someone💌