transformersのAutoTokenizerのuse_fastのデフォルト値がバージョンによって異なっていた
要約 transformersライブラリのバージョンを上げるときは、AutoTokenizer.from_pretrained で use_fastを指定しましょうという話 Huggingfac...
3
0
Comment0
28 search resultsShowing 1~20 results
Stocked
You need to log-in
系列内の要素をシャッフルする前と後の間の編集距離の分布について
前置き 突然ですが、以下のようなあるリスト source があった時、 >>> source = [0, 1, 2, 3, 4, 5] このリスト内の要素をランダムにシャッフル...
1
2
Comment0
pipが最新だとうまくいかない時がある話
NLGEvalという自然言語生成の評価指標のためのpython frameworkをpipで入れようとした時、以下のエラーが出た。 ERROR: Command errored out with...
2
0
Comment0
NLPerのための"CUDA out of memory"回避術
TL;DR GPUでNLPする時のCUDA out of memoryを回避する方法を地味なものからナウいものまでまとめてみた 自己紹介 都内のしがない博士院生 NLPer PyTorchユーザ...
58
33
Comment0
ubuntuサーバーのセットアップまとめ
ユーザー追加/SSH設定/Firewall ubuntu ユーザを追加して sudo 権限をつける SSHのポート番号を変更 - SSHサーバーの設定 Ubuntu 16.04 LTS Serv...
0
2
Comment0
分析サーバーでjupyter notebookを起動してローカルからアクセス
導入 タイトルの通り、かねてよりサーバーでjupyterを起動してローカルからアクセスしたいと思っていましたが、Qiitaの記事を参考にしてもうまくいかず、悶々としていました。 ですが、ちょうど...
44
52
Comment0
[ICLR論文紹介] Generative Question Answering: Learning To Answer The Whole Question
初めまして，自然言語処理の研究をしてる大学院生です．slackに流れてきたので参加してみました．（Advent Calendar初めてです．）ダラダラと書いてしまった気がするので，ここは特に重要...
14
6
Comment0
[PyTorch] torch.repeat と torch.expand の違い
torch.repeatとtorch.expandの違いを知りたい！ 導入 例えば、 1階テンソル[0,0,0]を複製して [[0,0,0], [0,0,0], [0,0,0]]みたいに2階テン...
34
18
Comment0
[PyTorch] torch.bmmよりも速く、batchごとに内積を計算する方法があった話
PyTorchでbatchごとに内積を計算したい！ 導入 Deepなモデルを構築していると、attentionの計算をする時など、ベクトル同士の内積をバッチごとに計算したい時があると思います。 ...
39
12
Comment2
【自然言語処理】日本語のあるある前処理
自然言語処理あるあるな日本語の前処理をまとめようと思います。（随時更新予定） 全角 -> 半角 >>> import unicodedata >>> ...
0
1
Comment0
gensimのWord2Vecを使って膨大なデータを逐次的に学習する方法
この記事を3行でまとめると Word2Vecで膨大なデータをミニバッチ学習するために gensimを使ってコードを書いて ついでにどうでもいいプルリクを送りつけた話 1. 導入 gensimを使...
22
21
Comment1
WEB初心者がAWS上でDjango + WSGI + ApacheでREST APIを作るまで
背景 大学院の授業で突如REST APIを作る必要に迫られました。 まる2日間ほどかかって大変でした。 せっかくがんばったので備忘録のため、また同じような目的の方のために記事を書きました。 0 ...
26
27
Comment0
AWSでbazelをインストールする方法
0. 環境 OS: Amazon Linux AMI 2017.09.1 t2.micro 1. ソースをダウンロード $ wget https://github.com/bazelbuil...
1
3
Comment1
ソースからbazelをコンパイルする時に"java.lang.OutOfMemoryError: Java heap space"というエラーが出たときの対処法
背景 AWSの無料利用枠、t2.microでbazelをコンパイルしようとしていました。 apt-getが使えないので、ソースをダウンロードしてきてunzipし、./compileしたところ、出...
0
0
Comment0
pip install時にMemory Errorが出た時の対処法
背景 AWSでpip install -r requirments.txtしている時に、 メモリが足りないためにMemory Errorが出たことがあった。 対処法 簡潔だが、以下のようにオプシ...
17
13
Comment0
[python]イテレータとジェネレータの違い[これが真実]
イテレータ？？ジェネレータ？？ Qiitaの記事を漁っていると、 「ジェネレータはイテレータの一種」 「ジェネレータはイテレータを返す関数」 など、相反する記述が見受けられます。 信用できるのは...
28
30
Comment3
Kerasのモデルを保存する方法
Kerasのモデルを保存するとき、pickleを使うと以下のエラーが出ました。 TypeError: can't pickle _thread.lock objects どうやらKerasのモデ...
14
11
Comment0
gitで誤ったメールアドレスでpushしてしまった時の対処法
誤ったメールアドレスでもユーザー名とパスワードがあっていればpushできてしまいます。 gitはユーザーを特定できないのでUnrecognized authorとして、?マークがついた状態になり...
0
2
Comment0
LinuxでTensorflowを使おうとするとImport Errorになる
Tensorflowをpipでinstallしていざ使おうとするとこのようなエラーが起きました。 ImportError: /myproject/lib/python2.7/sitepackag...
0
0
Comment0
[Python]超便利なデバッグ
pythonで楽にデバッグしたい方へ pythonをコマンドラインで走らせるとき、 $ python hoge.py -m pdb のように"-m pdb"をつけるとデバッグモードで実行してくれ...
159
182
Comment0
28 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles