集約統計量はPolarsが作りやすいぞ
自己紹介 データサイエンティストとして仕事をしているeikichiです。 Qiita初投稿です。 背景 KaggleのOTTOコンペ参加中にpolarsを知りました。 その時はメモリも圧縮されて...
8
7
Comment0
16 search resultsShowing 1~16 results
Stocked
You need to log-in
Kaggleはキャリアの役に立つ
この記事では、私が学生時代から現在に至るまでのキャリアを振り返りつつ、Kaggleがどのようにキャリアに役立ったのか をまとめます。 ※本記事は「Kaggle Advent Calendar 2...
31
8
Comment0
最適化の基礎の理解のまとめ
最近最適化問題に触れることが多くなり、基礎的な部分と気になった点で調べ、自分の理解をまとめました。 最適化とは 「何らかの目的（目標）を最もよい状態にするために、変数やパラメータの値を調整するこ...
1
1
Comment0
【GoogleCloud】インスタンス切り忘れ防止設定
私はKaggleをする際にGoogleCloudのVMインスタンスを利用しています。 ある日、いつも通り朝にKaggleをして、その後にずっと前から計画していた旅行に行ってきました。いいホテルで...
0
0
Comment2
VAE（Variational AutoEncoder）理解のまとめ
生成モデルが流行っている昨今ですが、勉強してる際にまずVAEの理解の解像度を上げたくなり、理解をまとめることにしました。 生成モデルとは 生成モデルは、観測データが得られる確率分布を推定するモデ...
1
1
Comment0
PolarsのList型とArray型を比較してみた
Polarsに格納できるデータタイプ型にList型とArray型があります。 ドキュメントで一覧見てると集合に対して同じ結果が出る処理も多そう？ 今回はList型とArray型のメソッド種類の比...
3
3
Comment0
WandBでパラメタ管理をシンプルに
前回、WandBでの実験管理方法について投稿しました。 今回は本内容の続きで、WandBの機能の一部であるSweepsについてまとめていきたいと思います。 WandBの利用方法について知りたい方...
3
3
Comment0
WandBで実験管理をシンプルに
機械学習にてモデル性能を確認するため、手元にあるデータセットを分割、そのデータで評価を行います。 評価をするために実験記録が必要ですが、結果やハイパーパラメータなどなど実験管理に手間がかかる。。...
9
7
Comment0
【Kaggle】コード読み込むだけで関連データセットを自動設定
ローカルで実装したものをkaggle notebookへimportする場合、importするごとにコンペデータセットやローカルで学習させたモデルなど別途 Add import や Upload...
1
1
Comment0
【Polars】ハマり小ネタ集
最近よく使うPolars。 ハマったものを追記していくハマり小ネタ集を作る。 pl.whenで文字列型列が作れない Polarsを使用していて以下エラーに遭遇 dateカラムから月の条件で四季の...
2
1
Comment0
【VSCode】from ~ import~ がうまくできない時の対処
Kaggleコンペで既に実装されたカスタム評価指標をローカルで利用する場合、実装pyコードをダウンロードして利用することによくなります。 VSCodeのJupyter拡張機能を使ってnotebo...
1
1
Comment0
【GoogleCloud】クラウド開発実行環境構築
背景 私はインフラ周りが苦手で、lazyな私は環境構築は最小限で済ませてきました。 最近勉強する中でGPUを使いたい場面が多くなってきており、騙し騙しやってましたが 過去にブログ記事を見ながらク...
0
1
Comment0
【GoogleCloud】ストレージ移行大量課金を理解する
GoogleCloudのComputeEngineにてディスクにデータを配置していたのですがvast.aiとの連携のためにGoogleDriveに配置したいお気持ちになりました。その際に調べて実...
1
0
Comment0
Kaggle with Wandb入門した
背景 実験管理をマニュアルで行ってきましたが、効率化欲が高まったためWandbの利用を試みることにしました 概要 今回はKaggle notebookからの利用を試します 利用ケースは”GBDT...
1
2
Comment0
【Git・VSCode】VSCodeのソース管理が機能しなくなった時の対処
VSCodeで開発中に「そろそろコミットしとこうかー」とソース管理からコミットしようと確認したところ、変更あるはずなのにいつの間にか更新の認識がされていないことに気がつきました。こちらの復旧方法...
3
1
Comment0
パッケージ管理ライブラリryeつかってみた
背景 Kaggleのコンペで勉強をさせてもらうことが多く、解法はもちろんなのだが使っているライブラリや技術を知る→使うきっかけになって非常にありがたい。 今回はその一つであるryeについて使って...
2
1
Comment0
16 search resultsShowing 1~16 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles