jupyter上で、import spacyするとkernelが死ぬ
現状)
python初学者です。
現在nishikaのコンペに参加しており、いざ分析を始めようとしたところライブラリのimportの時点でエラーが出て何もできない状況にいます。原因はimport spacyの箇所だと判明しました。
※他のライブラリは通常にimportできます。
メモリ不足とエラーが出るのですが
PCのスペックはMacBook Pro M1チップ
メモリ16Gbで、かつ他のアプリに動作を全て切っているので問題ないと思うのですが、、、、
import json
import pickle
import re
from glob import glob
from tqdm import tqdm
import regex
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import lightgbm as lgb
import spacy
nlp = spacy.load('ja_ginza')
from sklearn.metrics import log_loss
from xfeat import Pipeline, SelectCategorical, LabelEncoder
出力
The kernel appears to have died. It will restart automatically.
1.下記記事を参考に自分のdockerコンテナの起動状況を確認したが特に何も見つからなかった。※下記コードをterminalで実行
https://casualdevelopers.com/tech-tips/how-to-fix-the-error-that-the-kernel-appears-to-have-died-on-jupyter-notebook-with-docker/
docker stats --no-stream
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
2.メモリのオーバーワークだと下記記事で指摘があった為
jupyternotebook上でrunnningとなっているものを全てシャットダウンするも変わらず。
3.下記記事のように、ライブラリやパッケージのアップグレードをすれば解決するという意見が散見された為それを試すもエラーが発生
https://qiita.com/TsukasaHasegawa/items/df8678fcdf066d5eadc6
pip install ipykernel -U --use-feature=2020-resolver
Note: you may need to restart the kernel to use updated packages.
分かりづらい記事となっており申し訳ありません、、、
解決方法をご存知の方がいらっしゃいましたら
何卒ご教示の程宜しくお願いします。
解決策でなくて申し訳ないですが、自分だったら「Jupyterでなかったらimport spacyが実行できるのか」をまず確認すると思います。
まずはコマンドラインからipythonを起動してimport文を実行して、次にimport文のみのpyスクリプトを書き、コマンドラインから実行してみると思います。
両方とも通るのであれば、Jupyterが悪さをしているか、Jupyterのバックエンドの何かとspacyの相性が悪いか、まぁそんなところかなと予想するので、Jupyterのバージョンを変えてみるとか、JupyterLabにしてみるとかで対処すると思います。
あくまで自分ならこうする、という話なので参考程度ということで……。
@marcopagot
Questioner