cozeで、WEBスクレイピングツールをワークフロー化してそれをAPI化します
動画でも解説
https://www.youtube.com/watch?v=t0kVg025ZZE
ワークフローの設定
https://www.coze.com/
クリック
１）cozeにログイン（googleなどで）
２）Workspaceクリック
３）右上の＋Resourcesクリック
＝＞すぐ下に出る、Workflowクリック
４）Create workflowが表示されるので、
＝＞Workflow nameとWorkflow descriptionに分かりやすい名前入れる
＝＞両方入れたら、右下Confirmをクリック
５）ワークフロー編集画面が表示される
６）左上の紫色のPluginをクリック
７）SearchにWEBと入れる＝＞一覧からwebSpiderをクリック
＝＞下に画面が開く＝＞url2jsonのAddボタンをクリック
８）Startとurl2jsonをつなぐ ＝＞ url2jsonとEndをつなぐ
９）Startの設定 ＝＞入力欄が２行あるので、したの行の右の⊖をクリックして削除
１０）url2jsonの設定 ＝＞Prease selectのところをStart＝＞BOT_USER_INPUTに設定
１１）Endの設定 ＝＞Prease selectのところをurl2json＝＞web_contentに設定
１２）ワークフローの設定完了（URLを入れるとそのURLをスクレイピングしてJSONにしてくれる）
１３）右上Test runボタンをクリック Prease enter BOT_USER_INPUTに取得したいURLを入れる
１４）右下Test runボタンをクリック ＝＞実際に動く
１５）ワークフローのTest run完了
１６）右上のPublishボタンをクリック＝＞画面が変わって自分がつけた名前のワークフローに緑のチェックが付くとＯＫ
ＡＰＩ化
https://www.coze.com/open/oauth/pats
を開く
１）右上のadd tokenボタンをクリック
２）Add personal access tokenが開くので、
Nameは、Secret tokenのまま
Expiration timeは、30dayあたりを選択（30日後に期限が切れる）
Permissions*は、チェック入れられるところに全部チェック入れる（多分Workflow Runだけでも良い）
その下の、
Select specified team space をチェックして、Personalを選択すると、右下のConfirmボタンが押せるのでクリック
この画面の下の方にでAPIという文字を見たらチェックすること。私の画面に表示されないが、表示されていた気がする。
３）New Personal Access Token画面が表示＝＞下にTokensがあるので右下のコピーマークをクリックしてコピーする
４）メモ帳などに貼り付けておく
ＡＰＩ呼び出し方
https://www.coze.com/docs/developer_guides/workflow_run?_lang=en
１）画面したの方にあるCode samples Request sampleをチェック
以下の
pat_hfwkehfncaf****
"workflow_id": "73664689170551*****",
"user_id":"12345",
"user_name":"George"
をそれぞれ以下に変更
pat_yxkQjIbZyniAUU0zeIDJzOrhUoDxtHkS39Byv0Y0J4Wb7Jf73D3r74DroIHXbg5F ＜＝自分で取得したtoken
"workflow_id": "7438173077177925650", ＜＝作成したワークフローを開いたURLのworkflow_id=の右側の数値
"user_id":"7429341768674296849", ＜＝ワークフロー画面左上の＜をクリックして、
左下のマークをクリックしてSettingsをクリックして表示されたAccountの一番下のUID:の右側の数値
"user_name":"George"は以下のように修正(URLは自分がスクレイピングしたいURL)
"BOT_USER_INPUT":"https://www.google.com/"
＜サンプル＞
curl --location --request POST 'https://api.coze.com/v1/workflow/run' \ --header 'Authorization: Bearer pat_hfwkehfncaf****' \ --header 'Content-Type: application/json' \ --header 'Accept: */*' \ --header 'Host: api.coze.com' \ --header 'Connection: keep-alive' \ --data-raw '{ "workflow_id": "73664689170551*****", "parameters": { "user_id":"12345", "user_name":"George" } }'
＜修正後＞
curl --location --request POST 'https://api.coze.com/v1/workflow/run' \ --header 'Authorization: Bearer pat_yxkQjIbZyniAUU0zeIDJzOrhUoDxtHkS39Byv0Y0J4Wb7Jf73D3r74DroIHXbg5F' \ --header 'Content-Type: application/json' \ --header 'Accept: */*' \ --header 'Host: api.coze.com' \ --header 'Connection: keep-alive' \ --data-raw '{ "workflow_id": "7438173077177925650", "parameters": { "user_id":"7429341768674296849", "BOT_USER_INPUT":"https://crowdworks.jp/public/jobs/search?category_id=228&order=new&page=1" } }'
このcurlを全部コピーして実行すれば結果が戻ります。
コマンドプロンプト、パワーシェルでは動かない
私は、cursorのGit Bashで動かしました。
このままでは、アプリに組み込めないので、ChatGPTなどに、
一番簡単なpythonにしてと書いて、curlを全部投げればええ感じにpythonにしてくれます
difyやReplit Agentで使えるようになります！！