機械学習／ディープラーニングにおけるバッチサイズ、イテレーション数、エポック数の決め方
Keras、TensorFlow、Pytorchなどの機械学習／ディープラーニングのフレームワークを利用する際、 バッチサイズ イテレーション数 エポック数 などのハイパーパラメータを決める必要...
901
765
Comment1
41 search resultsShowing 1~20 results
Stocked
You need to log-in
Difyの使い方 ~Difyで何ができる？~
Difyとは 公式サイトでは、オープンソースのAIアプリ開発プラットフォームと紹介されています。 AIアプリといっても様々なものが考えられますが、 チャットボット AIエージェント （バッチ処理...
60
61
Comment0
日本語のローカルLLM（文章生成AI）をWindowsで動かす
はじめに LLM1は検索エンジンや翻訳ツールのように多くの人達にとって欠かせないサービスになりつつあります。 ところが、ChatGPT、Gemini、ClaudeなどのLLMの代表的なサービスの...
41
43
Comment1
交差エントロピー誤差をわかりやすく説明してみる
※コメントで説明の一部に誤りを指摘頂いたので記事を修正しました（2020/3/30） 教師あり機械学習では必須の損失関数。 教師あり機械学習の場合、学習するというのは損失関数の値を小さくする事と...
409
290
Comment5
ChatGPT (gpt-3.5-turbo) を専門知識のデータでファインチューニングした事例
はじめに 2023年8月にGPT-3.5 Turboのファインチューニング機能がリリースされましたが、うまくいかなかったという記事を幾つか見かけました。 ただ、一番目の記事はファインチューニング...
4
6
Comment0
DocsBotの仕組み
はじめに 世の中で話題になっているChatGPTですが、ChatGPTの内部で使われているGPT-3.5とGPT-4のモデルはファインチューニング（追加学習）することができません。ファインチュー...
11
7
Comment0
【Python】Wordファイルからのテキスト抽出
はじめに ビジネス系部門からシステム系部門にテキスト解析して欲しいという依頼があったものの、解析対象のデータは全てWordファイル！という状況は時々あると思います。 そのような時、まずはWord...
15
14
Comment0
【Python】f文字列
はじめに Pythonで文字列の中に変数を組み込む場合、Python3.6でf文字列が導入されるまでは、次のようにformatメソッドを使うのが一般的でした。 sample1.py fruits...
9
8
Comment0
【Python】辞書（ハッシュ）
Pythonではハッシュ（正確にはハッシュテーブル）のことを辞書と呼ぶ。 辞書の機能を利用して各KWの出現回数を集計する場合など、Counterやdefaultdictという辞書のサブクラスを利...
27
23
Comment1
日本経済新聞の記事を学習コーパスとした単語分散表現モデルの構築
はじめに 2018年のBERTの登場以降、自然言語処理（NLP）の分野では最先端（state-of-the-art）のアルゴリズムが次々と発表されています。あるアルゴリズムが発表されても半年後に...
24
10
Comment0
【Python】インスタンスをインスタンス変数でソートする方法
Pythonに限らず、プログラムを書いているとリスト（配列）や辞書をソートする機会はよくあります。そして、それらの方法はブログ記事などでたくさん紹介されています。 ただ、リストや辞書ほど頻度は多...
10
8
Comment2
【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解く
はじめに 自然言語処理の様々なタスクでSOTAを更新しているBERTですが、Google本家がGithubで公開しているものはTensorflowをベースに実装されています。 PyTorch使い...
266
239
Comment6
【まとめ】自然言語処理における単語分散表現（単語ベクトル）と文書分散表現（文書ベクトル）
自分のメモ代わりに作ったので間違いがあるかもしれません。また、説明が雑な部分もあります。 歴史が分かるように各手法が提案、公開された年も記載しています（※CNN、RNNは理論が発表された年にして...
133
106
Comment0
WRD（Word Rotator's Distance）で文書間の距離（類似度）を計算する
背景 文書（テキスト）間の類似度を計算する処理は、検索やレコメンドなど様々な分野で使われていると思います。 現在（2020年9月時点）、文書間の類似度を計算する方法は、次のようにコサイン類似度か...
35
25
Comment0
【Python】トピックモデル（LDA）
トピックモデルとは？ 最近、自然言語処理の分野はディープラーニング一色ですが、古典的1な手法がまだ使われることもあります。 その古典的な手法の一つにトピックモデルというものがあります。 トピック...
149
128
Comment3
【Python】Word2Vecの使い方
はじめに 既に様々な場所で取り上げられているWord2Vecですが、改めてPythonを使ったWord2Vecの使い方を紹介します。 使い方と言っても特に難しい事はなく、コーパス（テキストや発話...
492
455
Comment3
Target WSGI script '/var/www/xxx/xxx.wsgi' cannot be loaded as python module というエラーが発生した場合の対処方法
Pythonを使った簡単なアプリケーションを作成＆公開する場合、WebサーバはApache、Webアプリケーションフレームワークはflaskという組み合わせはよくあると思います。 そして、Apa...
2
1
Comment0
機械学習における正則化の意味を分かりやすく説明する
はじめに 機械学習（ディープラーニング含む）に触れたことがある人であれば、正則化という言葉を一度は耳にしたことがあるでしょう。英語ではregularizationと言います。 一般的には、機械学...
45
34
Comment0
【PyTorch】Tensorを操作する関数（transpose、view、reshape）
PyTorch1でTensorを扱う際、transpose、view、reshapeはよく使われる関数だと思います。 それぞれTensorのサイズ数（次元）を変更する関数ですが、機能は少しずつ異...
182
139
Comment0
【Python】二次元リストを一次元リストに変換する方法
Pythonで二次元リストを一次元リストに変換したい場合がある。 sum関数を使えば一行で変換可能。 知らないと一見何をしている処理なのか分からないけど、使ってみると意外と便利。 三次元リストを...
29
20
Comment1
41 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles