2018年からのtwitter民の関心をgoogle dataflowを使ってワードクラウドで追ってみた
このようにtwitterでの月ごとのつぶやきが可視化される仕組みを作った話 概要 twitterは徐々に私達の生活に欠かせないものになっている。twitterでは日々多くの話題がかわされている。...
4
4
Comment0
51 search resultsShowing 1~20 results
Stocked
You need to log-in
Ubuntu 22.04 pip3 で simstringをインストールする際は、quickumls-simstring を使う。
概要 Ubuntu22.04 で pip3 を用いて simstring を入れようとするとエラーになる。そのため、代わりに、quickumls-simstring を使う。 simstring...
0
0
Comment0
pythonでlinpackしてみる
linpackをpythonで書いてみる 概要 過去何度かスーパーコンピュータの性能を示すbenchmarkの一つlinpackを手元で試してみようという記事を書いた。 AWS-GPUとスパコン...
2
1
Comment0
BigQueryのうるう秒対策
7/1 0時(日本時間の9時)閏秒が挿入される。 通常59秒の次は00秒だが、60秒が追加される。http://www3.nhk.or.jp/news/html/20150628/k100101...
11
11
Comment1
apache-beam-pythonを用いてGCP dataflowでmecabを使い形態素解析をする話
概要 BigQueryに保存されたtweetを形態素解析したい。BigQuery単体では形態素解析出来ないし、mecabの新語辞書を使ったりも出来ないのでdataflowを利用することで形態素解...
11
9
Comment1
GCP dataflowを利用して、ニコニコ動画の全コメント41億件を、BigQueryへ入れる。
概要 ドワンゴは、定期的に、ニコニコ動画のデータセットを公開した。こちらで公開された情報を見ることができる。 前回提供版 今回の更新版 対象期間 2007年3月6日－2018年11月8日 200...
2
2
Comment0
td-agentのupdateでfluent-plugin-twitterが動かなくなった話と回避策
概要 td-agentを使って、twitterのsamplingデータを取得している。td-agnetのバージョンを (4.1.1-1) から (4.2.0-1) へアップデートした。 その際...
0
0
Comment0
EUのデジタル法令作成支援システム LEOSを立ち上げてみた
法令作成の苦労 コロナ禍で明らかになったように、日本の社会は未だにハンコと紙、FAXで業務を進めており、大企業や政府、官庁は特にその傾向が強い。 例えば、次のような記事がある。 働くママが終止符...
5
6
Comment0
計算社会科学入門発売記念、twitterのサンプリングデータを、GCP BigQueryに入れるまでチュートリアル
概要 計算社会科学入門 というこの分野の教科書的な書籍が発売された。しかしこの書籍ではどの様にデータ（特にtwitterなどの大規模データ）を集めるのかという記事は少なかった。そのため前書の内容...
9
2
Comment0
判例PDFをパースする際にハマること
概要 最近は行政データをオープンに公開することで、広く官民に使ってもらおうと言う動きが活発だ。裁判所も過去の判例データを公開している。こちらのサイトで、過去の判例データを検索して、判決文や判決に...
24
9
Comment0
Elixirでプロセス5000万くらい作ってみた
Elixirで、表題の通り5000万プロセスぐらい作ってみた。 Elixirで20万プロセスを作ったその後 Elixirはerlang VMをベースとした関数型の言語だ。Rubyっぽい文法も使え...
100
93
Comment1
[WIP]GDC2014木曜日と金曜日メモ
GDC2014の振り返り。帰国後2週間ほど調子が悪く寝ていた。 木曜日と金曜日の分をやっと纏めたので、それを載せる。 Crimewatch 2.0: Redesigning EVE Online...
2
2
Comment1
ニコニコ動画の全コメントをBigQueryに入れる
これはなに オープンデータとして公開されているニコニコ動画の全動画メタ情報、全コメント情報を、Google Cloud PlatformのBigQueryに入れる。最後に、そのデータを入れてデー...
10
7
Comment0
[WIP]GDC2014水曜日メモ
[WIP]GDC2014水曜日GDC Expoフロアーも開く。前二日よりもお祭り感が出てくる。書きかけたので帰国したら清書する。 火曜日のレポートは->http://qiita.com/s...
2
2
Comment0
pysparkでタイトル類似度を計測する
概要 大量のタイトルの類似度を測って、似ているタイトルのアイテムを列挙したい。 その場合、タイトルの類似度を図るために、(N*N)/2個のタイトルを比較しなければならない。 タイトルが増えていく...
2
1
Comment0
AWS-GPUとスパコンを比較する方法-スパコン用ベンチマークソフトを動かしてみる
前に、お手元のマシンとスパコンを比較する方法と言うなんともアホっぽい記事を書いた。更に思った。最近は、GPUの性能が上がっており、GPUを使って演算することが流行っている。LINPACKベンチマ...
10
10
Comment0
google cloud pubsub で大量データのやり取りをしてみた
google cloud pubsubを試した。 publisherとして、10万件連番のデータを送った。結果、22件程度抜けが発生した。どこにバグが有るのかよくわからない。十分テストする必要が...
10
8
Comment0
AWS-GPUとスパコンを比較する方法(P3インスタンス編)-スパコン用ベンチマークソフトを動かす
前に、AWS-GPUとスパコンを比較する方法(P2インスタンス編)-スパコン用ベンチマークソフトを動かしてみると言うなんともアホっぽい記事を書いた。 上の記事では、GPUがスパコンがどのくらい違...
2
1
Comment0
ニコニコ動画データセットをBigQueryに入れる
ニコニコ動画のデータ公開 ニコニコ動画は日本最大級の動画サイトだ。他の動画サービスにない特徴として動画にコメントを付けることが出来、それがユーザーの視聴体験を特別なものにしている。 一般的に知ら...
4
7
Comment0
ニコニコデータセットの使い方
ニコニコデータセット概要 ニコニコデータセットは、ニコニコ動画とニコニコ大百科に関するデータだ。ドワンゴが提供し、NII(国立情報学研究所)で配布している。商用利用の禁止等幾つか制約があるが、基...
5
6
Comment0
51 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles