【Jupyter EGW】JupyterHub + Jupyter EGW on Google Kubernetes Engine【GCP】
分析環境をコンテナベースで構築したいと思い調べていたらマネージドのKubernetes上にJupyterHubをデプロイするチュートリアルを見つけました。 かなり手軽にできたので、チュートリアル...
4
3
Comment0
32 search resultsShowing 1~20 results
Stocked
You need to log-in
【GCP認定資格】一発合格したから勉強方法をまとめておく【Professional Data Engineer】
先日試験を受けて合格してきました。学習期間は1ヶ月程度です。 まだまだ他の資格に比べたら情報量が少ないので、自分も合格記を書いて今後受ける方の参考になればと思います。 試験について こちらは既存...
10
7
Comment0
【Dataform】話題のDataformでBQMLパイプラインを構築してみたよ？【BigQuery】
GoogleCloudが買収したことで巷を賑わせているDataform。 しかも、完全無料で利用できるらしい。。 Dataform が Google Cloud の傘下に: BigQuery で...
7
3
Comment0
【BigQuery】運用してみたらUsabilityの高さに気づいた話【GCP】
BigQuery Advent Calendar 2020の10日目の記事です。 この記事では、BigQueryを分析者に試験的に使ってもらった際に色々もらった質問とその解決策についてまとめてみ...
11
2
Comment0
【API Gateway】β版のAPI Gateway + Cloud Functions + Cloud Datastoreでお手軽サーバレス【Functions】【Datastore】
はじめに チームメンバーがAWSのAPI Gatewayをプロダクション環境に導入するということで、GCPではどんな感じだろうかと思い勉強してみました。 ついでによくあるサーバーレスアーキテクチ...
13
9
Comment0
【BigQuery】bqコマンド チートシート
はじめに チームでBigQueryをシステムに導入しようとなり、本格的に向き合うことになりそうなので一通りbqコマンドを触ってみようと思います。 以前書いた記事では、レガシーな使い方をしていたり...
30
23
Comment0
【DevOps】【ETL】とあるOSS CICD環境のGCPマネージド化 -後編-【GCP】
はじめに 本記事は後編になります。実際にETLフローを構築してComposer,GKEを駆使してフローを実行させてみようと思います。 使用するリソースの概要など知りたい方は前編からご覧ください！...
2
1
Comment0
【DevOps】【ETL】とあるOSS CICD環境のGCPマネージド化 -前編-【GCP】
今回、構築してみたETLのCI/CD環境はこんな感じです。最後に簡単なETLのワークフロー流す時にBigQueryやCloudSQLは必要になるので図に書き込んでいます。 これらのリソースがどん...
2
1
Comment0
【GORM】Go言語でORM触ってみた
はじめに 趣味でネイティブアプリケーションのAPIをGo言語で開発中の駆け出しエンジニアです。 普段は機械学習周りのデータサイエンスを勉強しています。ということもあり、最近初めてORMという存在...
348
258
Comment4
【AI Platform】JupyterNotebookでお手軽データ分析&ML【GCP】
はじめに GCPの認定資格の一つであるProfessional Data Engineer取得を勉強中に「AI Platform」なるもの存在を知りました。 何が便利なのかを知りたいと思い、チュ...
6
5
Comment0
【Google Dataportal】数分で新型コロナのデータを簡単に可視化【GCP】
4/18時点の東京都 新型コロナウイルス陽性患者データ はじめに 3月から在宅勤務が続き、自分の勉強の時間を確保しやすくなりました。 主にGCPの資格取得(Professional Data E...
4
3
Comment0
【ComputeEngine】VMのport全開放なんて許さない！！【Firewall】
はじめに クラウドを使う上でVMのセキュリティには注意したいですよね。 特に不特定多数が利用するプロジェクトには監視ツールやセキュリティチェッカーを仕込んでおくのが良いかと思います。 自分にもそ...
7
0
Comment0
【Kubernetes】Airflow on Kubernetesで最強ETL基盤【Airflow】
はじめに 昨年末にAirflowをさわってみてなかなか便利だと思いました。 【Airflow】最近よく聞くAirflowに入門！EC2で動かしてみた【CI/CD】 そこで次のステップとしてKub...
30
17
Comment0
【Django】REST frameworkで検索エンジン的なAPIを作った件について【REST framework】
はじめに 久々にアウトプットしたいと思ったので、業務に触りたい技術を絡めて勉強しました。 今回はDjangoのREST frameworkってやつです。既存の記事もあるんですけどサンプルをやって...
48
54
Comment0
【echo】Go言語でDB操作やファイル操作するミニマムAPI開発【Gorm】
はじめに 運用中の検索システムに運用者用の機能拡張をしたいと思い、Go言語のフレームワークであるechoを使って簡単にAPIを開発してみました。 ===2019.12.26 追記=== 他にもg...
28
25
Comment0
【Airflow】最近よく聞くAirflowに入門！EC2で動かしてみた【CI/CD】
はじめに せっかくの連休なので新しいこと勉強してみたいと思い、reInvent2018にて色々なところで名前が出てきた「Airflow」について触れていきます！ なかなかイケてるという噂なので、...
92
79
Comment0
【BigQuery】知っておくと便利なbqコマンドのオプション【GCP】【bq】
はじめに DWHが業務で必要そうなのでまずスタートとしてGCPのBigQueryを使ってみました。 その中でbqコマンドのオプション色々調べてみたのでまとめてました。ロードの仕方も簡単にまとめて...
5
6
Comment0
【Swift】【Firebase】chatアプリ作ってたらtodoアプリになった件について【Firestore】【iOS】
□ はじめに いつかネイティブアプリを作ってみたいと思っていて、やっと手を出せました。今回はiOSアプリをとにかく作ってみるのに注力しました。 Firebaseも触ってみたい気持ちもあったので、...
7
7
Comment0
【Google Cloud Next Tokyo 2019】Dev Day / Day1 / Day2 レポート【GCP】
はじめに 7月30日から8月1日まで開催されたGoogleCloudNextTokyo'19に3日間参加してきました。 基調講演や参加したセッションを中心いくつかまとめていきたいと思います。 概...
3
2
Comment0
【AWS Summit Tokyo 2019】 Day1 レポート【AWS】
はじめに 今年もAWS Summitが開催されましたね！AWSの日本での大規模なお祭りなのでAWSユーザーのみなさんは1度は足を運んだことがあるんではないでしょうか。朝からがっつり参加したのでs...
25
22
Comment0
32 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles