Pandas で時間を溶かす arrow型（date型の違い）
この記事の目的 Pandas の DataFrame は pyarrowの型が使えるようになったが、うっかり型が不一致でまたまたデータパイプラインが止まってしまった事象を皆様に共有します。 Di...
0
0
Comment0
31 search resultsShowing 1~20 results
Stocked
You need to log-in
hyperfine （ベンチマーク測定コマンド）の紹介
この記事を書くにあたって アプリケーション、パッケージやコマンドラインの検証等でベンチマークを測定する際、 shell組み込みのtimeコマンドを使うことが自分は多い。なお /usr/bin/t...
0
0
Comment0
Parquet file by DuckDB の python での読み込み確認
(変更履歴） v2 format の説明の誤解を招くためタイトル変更しました。 before: Parquet format v2 by DuckDB の python での読み込み確認 aft...
4
1
Comment0
Re: Re: 履歴テーブルから最新の1件を取ってくる方法
この記事の目的 本日立て続けにXのタイムラインに流れてきた次の二つの記事へのalternativeを、DuckDBで書いてみようと思う 結論 最初に結論だが、手法としては二つ目の記事の chop...
1
0
Comment0
pandas 2.1.4 と 2.2.0 での 整数型 Series のmap(str)挙動の違いとその対応
Prerequisite import pandas as pd ser = pd.Series([1, 2, 3, None], dtype="Int8") 以下のように、NA型を含新しいIn...
1
1
Comment0
uv へ移行 from pyenv & poetry (docker前提）
この記事の目的 現在、私の管理するpython project は pyenv & poetry を前提としているが、 uv がPython自体のversion管理も可能となったため、う...
36
30
Comment0
Pandas 2.3 に向けてmergeされた PDEP-14 とは何か
この記事の目的 2024年7月25日に merge されていた PR#58551 は PDEP-14: Dedicated string data type for pandas 3.0 とい...
1
0
Comment0
Polars 1.0.0 の破壊的変更の紹介（抜粋）
はじめに Python Polars は2024-07-01に、待望の v1.0.0 のメジャーアップデートが公開された。本記事では、恒例の破壊的変更について紹介していきたい。なお、筆者が重要と...
8
6
Comment0
PandasのSeriesに、なんと文字列の型が6種類もあるとは...
update 2024-03-17: 文字列操作の実践ケース（mapメソッドにdictを与えた変換）を追加 2024-03-20: 文字列操作のベンチマークにいくつかのメソッドを追加 背景 Pa...
3
2
Comment0
Ibis 100 本ノックの記事を受けて
はじめに 先日Python 初学者のための Ibis 100 本ノックが公開された。「いいね」や「ストック」も200を超える勢いであり、影響度の高い著者の投稿により ibis の存在が広まったで...
8
8
Comment0
Polars 0.20 恒例の破壊的変更の一足先のご紹介
はじめに 全国のPolarsファンのみなさまこんにちは。カジュアルに破壊的変更を行うPolarsのversion 0.20 のリリースが近づいてきました。そこで、今回の破壊的変更を一足先にご紹介...
7
4
Comment0
ibis backend でPolarsを使うときにLazy実行で最適化されてるの？
はじめに ibis という Python におけるバックエンドフリー（フリーとは依存しないの意味）なdata manipulation ライブラリーがある。R言語でいうdplyer(dbplyr...
9
7
Comment0
local にデータベースの host も client も無い時に docker でのちょろっとした確認方法
Updated at 2020-07-12: Microsoft SQL Server, Presto を追加 手元の端末でちょろっとqueryの確認をしたいけど、そもそもローカルにclient...
0
0
Comment0
Polars, 旬の13のお役立ち機能
某kaggleコンペでPolarsの日本語投稿があってから日本での認知度が急速に広まったPolars. 使い方は以下の良質な記事にお任せして、マニアックな機能を紹介しよう。にしてもVaexは普及...
67
72
Comment0
日本には同姓同名・同誕生日の人がどれだけいるのだろうか？
（注: 以下にタイトルの答えはありませんのでご了承下さい。） みなさまこんにちは。「名寄せ」という単語に背筋がゾワっと来る方がいらっしゃるかもしれません。この記事は名寄せ実務がほぼゼロの人間が取...
2
0
Comment0
BigQuery での unix timestamp (micro秒) の JST への変換を何度も忘れるのでメモ
タイトルの通りです select FORMAT_TIMESTAMP('%Y-%m-%d %H:%M:%S', TIMESTAMP_MICROS(CAST('1590968103557000' ...
4
0
Comment0
wsl2 で homebrew ベースで python 実行環境 (by pyenv) を揃える最小手順
こんにちは WindowsでのPython環境導入は多数ありすぎて迷いませんか。私は迷いました。そこでタイトル通り、wsl2 内の homebrew ベースで python, R 環境 を揃える...
2
3
Comment1
Pandas DataFrame (Series) における sum の違い
お前は何を言っているんだというタイトルだと思いますが、 DataFrame (Series) に対する sum に対するこの結果を見てみましょう。 import math import pand...
4
0
Comment0
SQLで連続する日付の両端の日を取得する
これは何 SQLテーブルにてユニークな日付の入ったカラムから、連続した日を抽出しその開始と終了の両端の日を取得したい。そのための作業メモ。 方針 自己結合 Window関数 先に結論 SQL文の...
2
1
Comment0
Pandas 列の並び替え、実はこいつが速かった（決定版）
summary タイトルは煽りです。ごめんなさい。 結論: 次の5通りの方法があるが、並び替え後の列名に新しい列名（既存の列名に含まれない）ケースでのエラーを明示的にするため df[new_co...
5
5
Comment0
31 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles