marcopagot
@marcopagot (Asuka)

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

jupyter notebookで「import spacy」すると「Dead kernel」のエラーが出ます。

解決したいこと

jupyter上で、import spacyするとkernelが死ぬ

現状)
python初学者です。
現在nishikaのコンペに参加しており、いざ分析を始めようとしたところライブラリのimportの時点でエラーが出て何もできない状況にいます。原因はimport spacyの箇所だと判明しました。
※他のライブラリは通常にimportできます。
メモリ不足とエラーが出るのですが
PCのスペックはMacBook Pro M1チップ
メモリ16Gbで、かつ他のアプリに動作を全て切っているので問題ないと思うのですが、、、、

入力

import json
import pickle
import re
from glob import glob
from tqdm import tqdm

import regex
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import lightgbm as lgb

import spacy
nlp = spacy.load('ja_ginza')

from sklearn.metrics import log_loss
from xfeat import Pipeline, SelectCategorical, LabelEncoder

出力

The kernel appears to have died. It will restart automatically.

自分で試したこと

1.下記記事を参考に自分のdockerコンテナの起動状況を確認したが特に何も見つからなかった。※下記コードをterminalで実行
https://casualdevelopers.com/tech-tips/how-to-fix-the-error-that-the-kernel-appears-to-have-died-on-jupyter-notebook-with-docker/

入力

docker stats --no-stream

出力

CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT   MEM %     NET I/O   BLOCK I/O   PIDS

2.メモリのオーバーワークだと下記記事で指摘があった為
jupyternotebook上でrunnningとなっているものを全てシャットダウンするも変わらず。

3.下記記事のように、ライブラリやパッケージのアップグレードをすれば解決するという意見が散見された為それを試すもエラーが発生
https://qiita.com/TsukasaHasegawa/items/df8678fcdf066d5eadc6

入力

pip install ipykernel -U --use-feature=2020-resolver

出力

Note: you may need to restart the kernel to use updated packages.

分かりづらい記事となっており申し訳ありません、、、
解決方法をご存知の方がいらっしゃいましたら
何卒ご教示の程宜しくお願いします。

0

1Answer

解決策でなくて申し訳ないですが、自分だったら「Jupyterでなかったらimport spacyが実行できるのか」をまず確認すると思います。

まずはコマンドラインからipythonを起動してimport文を実行して、次にimport文のみのpyスクリプトを書き、コマンドラインから実行してみると思います。
両方とも通るのであれば、Jupyterが悪さをしているか、Jupyterのバックエンドの何かとspacyの相性が悪いか、まぁそんなところかなと予想するので、Jupyterのバージョンを変えてみるとか、JupyterLabにしてみるとかで対処すると思います。

あくまで自分ならこうする、という話なので参考程度ということで……。

1Like

Comments

  1. @marcopagot

    Questioner

    @yosakabe様
    大変ご丁寧な回答ありがとうございます🙇‍♂️
    原因はわかりませんが、googleこラボラトリーでしたら実行出来ました。

Your answer might help someone💌