lightgbmで二値分類の一連の流れをしたメモ
はじめに lightgbmで学習から評価までの一連の流れをやってみました。 （結構忘れてしまうんですよねぇ…） ※ 追記追記で読みにくいところもあるかと思います 環境 Corabolatory ...
114
97
Comment0
20 search resultsShowing 1~20 results
Stocked
You need to log-in
numpy の dtype変更だけでパフォーマンス改善できた話
はじめに numpy の計算効率化に取り組む機会があったのですが、 その中で dtype の重要さを学びました。 個人の備忘録としては勿論、誰かの役に立つといいな〜と思い 書いたものが本記事とな...
7
6
Comment0
Dataprocのsqoopでavro保存しようとしたらハマって困った
この記事について Dataproc で sqoop を実行し、oracleからデータを引っこ抜こうとしたらエラーが出た。 そのトラブルシューティングの記録。 環境 Dataprocイメージ： 1...
0
0
Comment0
Node.jsとAWSを使って画像検索 BOTを作ってみた～前編～
2020/12/2 追記 記事中で書いている g-i-s を使って情報を取得できなくなっていました。 なので改修しました。 flex message になったり、結構変わってます。 やばそうな部...
6
8
Comment0
Geolonia 住所データを使って不審者MAPをサクッと作ってみた
この記事について 箇条書きにすると、個人的やりたい事に以下の2点がありました。 ったのですが以下のモチベーションで本件に取り組みました。 Geolonia 住所データ というものが公開されたの...
44
28
Comment0
pandasのget_dummiesで横持ちにできないケースの対応
2020/7/4 追記 「１つのカラムに concat されている場合」で、 sklearn 使わなくても出来たのでメモ （2019/8/16 追記のヤツのほうが良いかもしれないけど） 結論こん...
4
2
Comment3
dockerメモ
この記事について 今のところ使う予定ないけど気になったり、いつか何かで使えるんじゃね？ と思ったものをまとめたもの。随時更新予定。 build 時のオプション --build-argで変数指定、...
0
0
Comment0
jupyterlab & matplotlibで作成したグラフのデータ点にリンクを貼る
この記事について 記事タイトルの通りのことがやりたかった。 また使うことがあるかも知れないので、その方法を記録しておく。 手順 matplotlib で リンク付きのグラフを作成 svg 形式で...
0
1
Comment0
pytorchで画像を多クラス多ラベル分類
はじめに タイトルの通りの事をやってみた。一通り出来たのでそのメモとして。 内容に深く触れられない理由があり、ちょい雑になってる部分もあり。 例えばその変数どこで宣言したの？的なのがあるかも 元...
26
19
Comment0
pythonでフォルダ内のファイル名のみ取得する方法
はじめに とあるフォルダからファイル名のみ取得したいシーンが有りました。 hoge/ └ huga/ ├ file1.txt ←この file*.txt 達だけが欲しい ├ fi...
46
41
Comment1
【2019/10/15追記】ColaboratoryでGoogleチームドライブをマウントする方法
2019/10/15 追記 またマウントできなくなっていたので直しました。 諸事情で変数名も変わっていますが、気にしないでください。 それにしてもconfigファイルでteam_drive_id...
12
6
Comment0
gcloudで特定のGCEインスタンスの外部IPを確認する
はじめに とあるスクリプトで、 curl inet-ip.info を実行してGCE インスタンスの 外部 IP を取得していたのですが、9月の末頃 inet-ip.info がダウンしていたよ...
3
0
Comment1
Bigqueryで内積計算
役に立つときがあるかもしれないので残しておく。 例えば [1, 1, 2] [1, 2, 3] の内積を求める場合こんな感じで出来る。 select sum(a.x * b.y) from (s...
2
0
Comment0
Amazon SageMakerで独自アルゴリズムを使って学習してみる
SageMaker について 公式 https://aws.amazon.com/jp/blogs/news/amazon-sagemaker/ ざっくり言うと学習・モデルデプロイ・ホスティング...
17
7
Comment0
Colaboratory セッション切れ対策のメモ
はじめに Colaboratoryで長時間の学習などを行う場合、90分セッション切れ対策し 12時間完走するための方法のメモ。 他の方のQiita記事を組み合わせただけの他人の褌記事です。 方法...
0
2
Comment0
Bigqueryデータセットのメタデータ確認とか
Bigquery のテーブルごとのサイズを調べる必要が出てメタデータを確認したい事があったのだが、 時間が UnixTime になっていて、JSTに直すの少し詰まってしまった。 同じ事をまたやり...
5
1
Comment2
【Python】【追記あり】lightgbm の plot_importance のようなグラフを作った際のメモ
はじめに 最近の git は web サイト上で .ipynb ファイルがレンダリングされます。 そのため、社内の某チームでは分析履歴として gitlab 上で管理しているのですが、 light...
1
0
Comment2
【AWS】IAM ロールのパスをルート(/)以外にする
はじめに こちらのサイト を参考に Sagemaker を触ってみようとしたところ、 トレーニング部分で sagemaker unable to assume role という エラーが発生しま...
12
7
Comment0
Node.jsとAWSを使って画像検索 BOTを作ってみた～後編～
はじめに Node.jsとAWSを使って画像検索 BOTを作ってみた～前編～ の続きの記事です。 今回はインフラ寄りの話題となります。 AWS lambda へ資材アップロード AWS アカウン...
4
2
Comment0
jupyterのnotebook上からシェルコマンドの実行禁止を試みた話
背景 jupyter ってとても便利ですよね。 python 書けて、markdown 書けて、シェルコマンド実行もできる。 でも、インフラ担当者的にはなかなか面倒な点もありまして。 ログを残さ...
3
5
Comment0
20 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles