Running BLOOM 176B inference on ABCI
With evergrowing size of recent pretrained language models (or foundation models), running infere...
2
0
Comment0
42 search resultsShowing 1~20 results
Stocked
You need to log-in
ChainerでのEarly stoppingを再考する
tl; dr extensions.MinValueTriggerとスナップショットを組み合わせると、chainerで簡単にearly stoppingが実現できる。 実装はgistにて公開中 ...
8
8
Comment0
Unified Memoryを使ってGPUメモリよりも大きなモデルをChainerで扱う
tl; dr Chainerにおいて、以下の関数をGPUメモリを使う前に挿入することで、GPUメモリの大きさ以上の深層学習モデルを扱える。 ただし、パフォーマンス改善につながらないので、ミニバッ...
32
30
Comment0
論文紹介: Elimination of All Bad Local Minima in Deep Learning
tl; dr Kawaguchi and Kaelbling. 2019. Elimination of All Bad Local Minima in Deep Learning. arXiv...
13
11
Comment2
論文紹介: Adding One Neuron Can Eliminate All Bad Local Minima
tl; dr Liang et al., 2018. Adding One Neuron Can Eliminate All Bad Local Minima. NIPS. ある前提条件を満たす...
95
68
Comment4
論文紹介: Adapting Auxiliary Losses Using Gradient Similarity
tl; dr Du, Czarnecki, Jayakumar, Pascanu and Lakshminarayanan (DeepMind). 2018. Adapting Auxiliar...
4
4
Comment0
論文紹介: Pay Less Attention with Lightweight and Dynamic Convolutions
tl;dr 本論文は自然言語処理において汎用的に利用できる深層学習手法に関するものである。 連続する数単語の各特徴量次元（チャンネル）ごとにCNNを適用する先行研究（Depthwise conv...
23
13
Comment0
論文紹介: Stochastic Training of Graph Convolutional Networks with Variance Reduction
tl;dr Graph convolutional networks (GCN)において、理論的・実験的によく収束するミニバッチ学習法を提案 サンプリングを行い、サンプリングされなかった近傍ノー...
4
4
Comment0
PyTorch向けのデータセットをChainerから使ってみる
tl;dr 各フレームワークにおけるデータセットの提供状態について調べた。 自然言語処理はPyTorchが、化学系はChainerがそれぞれかなり優れている Tensorflowは貧弱 PyTo...
13
7
Comment0
論文紹介： Deriving Machine Attention from Human Rationales
もう少しわかりやすいスライドをアップロードしました。 tl;dr 自然言語処理において、rationaleのデータを学習に用いることで、正解データが少ないタスクの性能を向上する。 rationa...
5
1
Comment0
論文紹介: Neural Latent Extractive Document Summarization
tl;dr Extractive summarizationにおいて、文ごとに採用・非採用の2値ラベルを作ることなく、人手で作った参考要約から直接学習できる手法により、Extractive su...
3
1
Comment0
論文紹介: Multi-Task Learning as Multi-Objective Optimization
tl;dr Sener and Koltun. 2018. Multi-Task Learning as Multi-Objective Optimization. NIPS. マルチタスク学習...
67
41
Comment0
論文紹介: Reward learning from human preferences and demonstrations in Atari
tl; dr NIPS2018に採択された、DeepMindによる Leike et al. 2018. Reward learning from human preferences and d...
8
3
Comment0
論文紹介: Linguistically-Informed Self-Attention for Semantic Role Labeling
tl;dr 自然言語処理のトップ会議であるEMNLP 2018のbest paperの1つ (4つ中) メインタスクのSemantic Role Labeling (SRL) と3つの関連タスク...
17
11
Comment0
論文紹介: EMNLP2018で発表された文書の階層分類の論文2本
tl; dr 文書の階層分類 (Hierarchical classification) は、分類体系が階層をなしてる場合の文書分類 本投稿では、EMNLP2018で発表された文書の階層分類の論...
8
4
Comment0
論文紹介：Multi-Agent Dual Learning
tl;dr 本論文は2つのドメイン間の変換という問題に対して、汎用的に利用できる機械学習手法に関するものである。 e.g. 翻訳:英語から日本語、日本語から英語の翻訳 画風変換: 自然画像から、...
10
3
Comment0
GloVeを学習する
はじめに GloVeはStanfordによる単語分散表現の教師なし学習手法です。詳細は省きますが、Stanford版のword2vecと考えれば、使用シーン的には問題ないでしょう（単語のちかさを...
4
5
Comment0
Chainerのレポーティング機能についてまとめてみる
tl;dr trainer.extend(extensions.LogReport())を書けば最低限のロギングがただで得られる。extensions.ParameterStatisticsをし...
16
27
Comment0
Chainerを高速化するiDeepをインストールする
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なター...
9
10
Comment0
高校数学で理解する逆強化学習（その１）
はじめに 逆強化学習 (Inverse Reinforcement Learning; IRL) が注目されている。強化学習は、問題と報酬（の条件）があたえらたときに、報酬を最大化する行動方策を...
38
52
Comment0
42 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles