はじめに
TIL(Today I Learned): 今日学んだこと
をtwitterのつぶやきで行おうと思いました
-
#til
というハッシュタグで学びをつぶやく - 1日1回自分の投稿の
#til
ハッシュタグを拾いに行く - GitHubにコミット
というのがいけないかな〜と思ったのがきっかけです
AWSで CloudWatch Events
+ Lambda Functions
あたりでできそうな気がしたのでやってみます
参考
準備
- AWSアカウント
- Twitter開発者アカウント
- TILをコミットしていくGitHubリポジトリ
Twitter APIを利用するためには開発者アカウントの登録が必要です
※ 利用目的とか審査とかあってやや面倒です…
手順
- Amazon CloudWatch Eventsで定期的にAWS Lambdaを起動
- LambdaでTwitter APIを叩いて
#til
ツイートを取得 -
#til
ツイートがあればGitHub APIを叩いてコミットする
アプリケーションの動きとしては上記の流れを想定します
なのでやらないといけないことは、
- Lambda Functionsの作成
- Twitter APIを叩いて
#til
ツイートを取得するjsを作る - GitHub APIを叩いてコミットするjsを作る
- Lambdaに登録する
- Twitter APIを叩いて
- 定期的にLambda Functionsを実行するCloudWatch Eventsの作成
という感じになります
1. Lambda Functionsの作成
最終的にはこんなjsができあがりました
色々詰め込み過ぎだし改善の余地は大いにありそうですが、中身を見ていきます
1-1. Twitter APIを叩いて #til
ツイートを取得する
Twitter開発者アカウントを登録してアプリ作成を行うと、以下の値が得られます
- Consumer API key
- Consumer API secret key
- Access token
- Access token secret
これらを環境変数から設定し、twitterモジュールを利用します
const Twitter = require('twitter');
const twitterClient = new Twitter({
consumer_key: process.env.API_KEY,
consumer_secret: process.env.API_SECRET,
access_token_key: process.env.ACCESS_TOKEN,
access_token_secret: process.env.ACCESS_TOKEN_SECRET,
});
あとはTwitter APIのドキュメントを見ながら、特定のツイートを取得するように実装します
const nowString = `${now.getFullYear()}-${now.getMonth() + 1}-${now.getDate() - 1}`;
const params = {
q: `(from:${process.env.ACCOUNT_NAME}) since:${nowString} ${TARGET_HASHTAG}`,
count: process.env.MAX_COUNT || 5,
};
const tweets = await twitterClient.get('search/tweets', params).catch(() => []);
ACCOUNT_NAME
は自分のTwitterアカウントを環境変数で設定します
最終的には毎日日付が変わったタイミングぐらいで実行させるので、前日以降のツイートに絞っています
※ jsの日付処理貧弱すぎない?みんなmoment.jsとか使うの?
実際はこのあとに各ツイートのハッシュタグを厳密にチェックしてますが、だいたい↑ぐらいでお目当てのツイートは取得できるはずです
1-2. GitHub APIを叩いてPRを作成する
これが地味に大変だった…
CLIなら git add
して git commit
して git push
するだけのかんたんなお仕事ですが、APIでやろうとするとある程度踏み入った理解が必要になります
流れとしては blob
を作って tree
を作って commit
を作って HEADのSHAを書き換える
ということになります
const prevRefsHead = await getRefsHead();
const commitSha = prevRefsHead.object.sha;
const prevCommit = await getCommit(commitSha);
const blob = await postBlob(data[i]);
const tree = await postTree(prevCommit.tree.sha, blob.sha, i + 1);
const commit = await postCommit(commitSha, tree.sha, i + 1);
await patchRefsHead(commit.sha);
await sleep(1);
中身はそれぞれ対応したAPIを実行しているだけですが、こちらもドキュメントとにらめっこしながらパラメータと流れを調節しました
※ 連続して実行したときにコミットがうまくいかないことがあったので、1件ずつsleepするようにしてます
1-3. Lambdaに登録する
jsは何度もお試し実行すると思うので、ローカルでDockerとかで書くのがよいです
jsができあがったらLambdaに登録していきます
注意点として、Lambda上で外部モジュールは基本的にそのまま require
することはできません
今回でいうと
const Twitter = require('twitter');
ですね
これは事前に Lambda Layers
として作成しておくことで解決できます
![image-lambda-layers1.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F2e9aa15b-def7-c91d-4594-9f3998f6e920.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=a8180179d2aca172f923d1998480c7d1)
zipファイルを直接アップロードするか、 S3
に上げておいてそれを利用することができます
zipファイルの中身は注意が必要で、例えば modules.zip
を解凍したときに以下の構成になっている必要があります
$ ls -1 modules/
node_modules/
node_modules
の中に利用したいモジュールが入っているイメージです
この構成になっていないと、Lambda Functionsの方で利用するのにうまくいきません
先にLambda Layersを作ったら、Lambda Functionsを作成していきます
![image-lambda1.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2Fb8dd29db-e21d-c983-3d7c-7f6bb753059d.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=8a7c5326a5d5b4f549e2001cd45a362e)
ランタイムはLambda Layersと同じになるようにします
Lambda FunctionsもzipファイルをアップロードしたりS3のファイルを利用することができますが、今回はそのまま作成したコードを貼り付けます
![image-lambda2.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F6f382aa2-985a-f525-3aa6-cd5f247c1789.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=714ca7968d64c8e6d07ac1cb1f1b185d)
環境変数をたくさん使うので、ぽちぽち登録します
![image-lambda3.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F0dea0f56-5815-2003-3084-f3863e24b9bf.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=3e3e4abab3ffb8862fd0e6f3d992d152)
タイムアウト設定をデフォルトの3秒 -> 30秒に変更しておきます
![image-lambda4.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F13e3e1c0-fdf0-6b56-4072-5a15deac123c.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=4b71b8d532723954d913b39dbc801029)
最後にLambda FunctionsにLambda Layersを追加すればOKです
![image-lambda5.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F0c59cb12-7503-4b35-aa99-5e4440970444.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=571d16f916c2e4aa1f1900c80f737889)
右上から適当なテストイベントを作ってテストしてみて、無事に動けばLambdaとしては完成です
2. 定期的にLambda Functionsを実行するCloudWatch Eventsの作成
![image-cloudwatch-events3.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F78eb1cbe-f97e-19aa-3046-1d5d2bad6dff.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=c5d426d40706591330f3f4adeae030ca)
![image-cloudwatch-events2.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2F67f7d0b4-5b44-2162-791e-7d47c45826e8.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=e4295cf56e8c5efc336e46c6f311bc78)
以上
簡単に設定できました
Cron式については、日付が変わったころに前日分のツイートを取得するような感じで実行されるようにします
CloudWatch EventsのCron式で実行されるイベントは、UTCで誤差1分以内だそうです
前日に #til
ツイートをしていれば、日本時間でだいたい翌日の朝9時頃にコミットができあがる想定ですね
実行結果
![image-tweet1.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2Fba194752-a7a1-6063-2fba-e99b47f04fe0.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=ed076b1499553351c8a450fbd29daf3f)
![image-commit1.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F138022%2Ff8b60885-94a4-5e84-499d-27842d21a2fe.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=42b919e1b368a6e90faa53e182ad67b0)
コミットされました
これで無事にツイートするだけで草が生える環境ができあがりました
学び
- node_modulesを
Lambda Layers
に追加しておくことで、Lambda Functionsで使えるようになって便利 - Gitのコミットができるまでの流れ 10.2 Git Internals - Git Objects
-
CloudWatch Events
のスケジュールでCron式を使う場合、日と曜日のどちらかは?
にする必要がある
Todo
- Lambda FunctionsとLambda Layersへのデプロイを
GitHub Actions
で自動化したい人生だった… - GCPで
Cloud Functions
とCloud Scheduler
でも似たようなことができそうなのでやってみたい
まとめ
GitHubの草が生えているからといって活発に開発をしているとは限らないぞ