概要

Python requestsを使って,この記事とその画像をqiitaに自動投稿する.

ソースコード(参考用): https://github.com/6e5d/qiita_post.

自動投稿モデル

緑色ノード = クライエント保存情報.

A. regexなどを利用してローカルファイルリンクを検出.

B. 保存したS3 URLと更新時間(timestamp)より新しい,またはS3に存在しなかった画像を集める.

C. (下記参照)

D. ローカルファイルリンクをS3 URLに置き換える.

E. (下記参照)

C. 画像アップロード

注意: 公式APIに入られなかったので,破壊的な変更が行われる可能性がある.

参考: https://qiita.com/yuku_t/items/40b7daf018d3dab48974

Qiitaの投稿には2M文字上限があるので(参考: https://qiita.com/misohagi/items/39c4f9921fdc009817b5), HTMLの中に直接画像エンコード(base64など)は向いてない. qiita.comは画像などのサーバーではなく, amazon S3をアップロードして生成したリンクを埋め込むということです.

まず,アップロードしたいの画像情報をqiitaのサーバーに提出した後, qiita返信からS3サーバーの目標URLなどを抽出. 具体的には,画像タイプ,名前,サイズを含むjsonデータを https://qiita.com/api/upload/policiesにPOST:

# stage1: qiita.comと通信
def stage1(token, img):
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {token}",
}
data = {"image": {
"content_type": "image/png",
"name": "test.png",
"size": len(img),
}}
resp = requests.post(
"https://qiita.com/api/upload/policies",
data = json.dumps(data),
headers = headers,
)
assert resp.status_code == 200
content = resp.content
resp.close()
j = json.loads(content.decode())
return j

返信datajのj["form"]部分はmultipart/form-data filesを転換し (requestsを使えば,自動的にboundaryなどを生成する), 画像データを加えてj["upload_url"]にPOST. 生成されたurl(Location)は返信Headersに含まれる:

# stage2: S3と通信
def stage2(j, img):
url = j["upload_url"]
files = j["form"]
for name, value in files.items():
files[name] = (None, value)
files["file"] = ("test.png", img, "image/png")
resp = requests.post(url, files = files)
# print(resp.status_code)
headers = resp.headers
resp.close()
loc = headers["Location"]
return loc

E. Markdownファイルを投稿

公式API: https://qiita.com/api/v2/docs#投稿

参考: https://qiita.com/kai_kou/items/663d3f7bbc4da4ccf62d.

投稿本文フォーマットは2種類Markdown(body)とHTML(rendered_body)がある.
POST=投稿,PATCH=更新,DELETE=削除
返信bodyから投稿URLを抽出して保存(更新にはURLが必要)

def post(prev_url, text, title, tags):
data = {
"body": text,
"private": True,
"title": title,
"tags": [{"name": tag, "versions": []} for tag in tags]
}
import requests
token = open("token.txt").read().strip()
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {token}",
}
if prev_url == None:
print(f"new post")
resp = requests.post(
"https://qiita.com/api/v2/items",
headers = headers,
data = json.dumps(data),
)
else:
print(f"update {prev_url}")
resp = requests.patch(
prev_url,
headers = headers,
data = json.dumps(data),
)
print(resp.status_code)
print(resp.headers)
j = json.loads(resp.content.decode())
# 毎回セーブするけど,記事IDは更新後も変更されない
with open("qiita/prev_url.txt", "w") as f:
print(j["url"], file = f)

画像の更新と削除について

画像削除API(ドキュメントなし)は複雑で不安定ですが, 100Mストレージは余裕があると思うので,いまのところ実装しない方がいい. クライエント側から管理するより, QiitaにはGarbage Collection機能 (リンクされていない画像は一定時間後に自動またはまとめて削除) を実現することを望む.

230916 更新

今は(Makefileみたいな)epoch比較ではなく, binaryファイルがVCSで管理されて安定的なハッシュ比較を実装している.