計算量の多い教師なしレコメンドデータセットを作成する際の工夫
想定される状況 自然言語をBERTなど単語分散表現を用いてベクトル化 cos 類似度を計算し、文章同士の類似度を数値化 類似度の高いコンテンツ同士を似ているコンテンツとみなし、レコメンドするため...
0
1
Comment0
16 search resultsShowing 1~16 results
Stocked
You need to log-in
pythonでMecabを使うときに品詞指定して分かち書きを楽にするクラスを書いた
mecabをpythonで使っていると品詞を指定して自由に分かち書きしたいときに色々と書き換えなきゃなので、その不便さを解消するために自前でクラスを書いたので公開します。 import MeCa...
3
5
Comment0
BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する
BERTとLightGBM, optunaで自然言語の分類モデルをサクッと作ってみようという記事です。 データはlivedoorニュースコーパスを使用しています。 また、本記事で使用しているコー...
11
6
Comment0
SQLファイルを読みBigQueryを実行しcsvを保存してくれるPythonスクリプト
python 3.6.1 にて動作。 bq_runnner.py import argparse import pandas as pd def run_query(sql_file): wit...
2
5
Comment0
社内で初めて機械学習システムを企画してから運用に乗せるまでの話
この記事は 弁護士ドットコム Advent Calendar 2019 - Qiita の12日目の記事です。 この記事は何か？ まずは自己紹介です！ 私は弁護士ドットコム株式会社で働くデータサ...
16
10
Comment0
GCP + Docker + Jupyter Labで任意の機械学習環境をつくる
概要 GCP(GCE) + Docker + Jupyter Lab を使って、GPUをゴリゴリ使うpython 3.6系の機械学習用の作業環境を作ることができたので、まとめます。 背景 日々い...
10
11
Comment0
GASのスクリプトで「このスクリプトの OAuth ID は削除されました」のエラーが出たとき対応方法
問題 GASのスクリプトを実行した際に、以下の画像のように「このスクリプトの OAuth ID は削除されました」というエラーが出る場合があります。対応方法としては、「新規でGASプロジェクトを...
6
4
Comment0
機械学習タスクをCloud ML Engineで実行してローカルのjupyter notebookでのデータ分析を効率化する
概要 TL;DR 単発のデータ分析案件を想定し、1つのjupyter notebookファイル内で以下の工程を完結させます。 データをローカルで前処理して Google Cloud Storag...
4
9
Comment0
icrawlerを使って機械学習用にごちうさの画像を手軽に大量に集める
概要 以前、 Keras(Tensorflow)の学習済みモデルのFine-tuningで少ない画像からごちうさのキャラクターを分類する分類モデルを作成する という記事を書いたのですが、このとき...
15
14
Comment0
featuretoolsで特徴量を自動生成して機械学習モデルの構築を楽に早くする手法
概要 機械学習モデルを作るときに、特徴量を増やすことでモデルの精度を向上させようと試みるタイミングがあります。例えば、学習用データを作成するときに SELECT id, COUNT(hoge) ...
81
92
Comment0
[python] Numpyで巨大な配列を効率的に処理するためのTips集
機械学習などで大規模なデータを扱っていると、ごくごく自然にそれらのデータをpandasやnumpy配列に突っ込んで処理したくなるときがあります。 Pythonの場合、forループを回すよりもnu...
84
71
Comment0
fastTextとDoc2Vecのモデルを作成してニュース記事の多クラス分類の精度を比較する
概要 自然言語処理で文書をベクトル化する手法として、fastText と Doc2vec のどちらが良いのかと思い、試してみることにしました、という趣旨の記事です。 ソースコード 今回の実験のた...
48
62
Comment1
[python] pandas使いにとって使いやすいGoogleスプレッドシート操作クラスを作った
概要 仕事でデータ分析などを担当しているのですが、pythonで分析しているとpandasはRのDataFrameのように扱うことができて、本当に便利だなあと日々実感しています。 また、データ分...
28
25
Comment0
偏りのあるデータをランダムフォレストでクラス分類を行う際は class weight を設定した方がよい
概要 言いたいことはタイトルに書いてある通りです（笑） 実際のサービスのデータを用いてデータ分析したり様々な学習モデルを作成していると、だいたいはデータに偏りがあることがほとんどです。 例えば、...
40
33
Comment0
Keras(Tensorflow)の学習済みモデルのFine-tuningで少ない画像からごちうさのキャラクターを分類する分類モデルを作成する
概要 Kerasで提供されているVGG16という大規模な画像で学習済みのモデルを活用して、ご注文はうさぎですか？（略称 ごちうさ）に登場する主要キャラクター5名の画像を分類するモデルを作成します...
81
79
Comment0
[python 機械学習初心者向け] scikit-learnでSVMを簡単に実装する
はじめに 本記事は、Pythonで機械学習を始めてみたいが、とりあえず手頃な例で簡単に実装し、自分の手を動かすことで機械学習のモデル作りの過程を体験してみたい人向けの内容となっています。 内容と...
127
130
Comment1
16 search resultsShowing 1~16 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles