Amazon CodeCatalystに課金してAmazon Qにイシュー消化してもらってみた・・・が！？

はじめに

• Japan AWS Jr. Champions Advent Calendar 6日目の投稿です!!
• 個人的にCodeCatalystが推しサービスでして、Jr. Champions同士でのLT会でもCodeCatalystを取り上げる他、Qiitaでも関連記事をいくつか書いてきました
• そんな私はre:Invent 2023にてAmazon Qとの連携が発表された当日にAmazon CodeCatalystがAmazon Qと統合されて進化！有効化するにはどうすればよいの？にてAmazon Qを有効化したものの、無課金ユーザでは存分に機能を享受できず･･･という結論で終わってしまいました
• そこで今回は課金して実際に利用した感想をお伝えしようと思います！
  

先に結論から

• ネガキャンする気はないですが、残念ながら期待するようなコード修正はしてくれませんでした！
• せっかくのじゅにちゃんアドベントカレンダー、かっこよい記事にしたかったですが失敗も知見として発信したい派なので供養させてください(泣)
• 追記2024/01/16 : イシュー概要に「テストが通ってからプルリクを出すこと」といったことを指定すればもしかすると改善するかも・・・？

準備パート

課金設定

• AWSマネジメントコンソール側のCodeCatalystで課金を許可していない場合は、有効化してから設定変更しましょう
  
• イシュー消化を行ってくれるのはスタンダードからで、アクティブユーザにつき$4/月かかります
  

適当なプロジェクトを用意しましょう

• 私はブループリントから”Single Page Application”でReactベースを選択しました
  • 参考: CodeCatalyst Blueprintの"Single-page application"をやってみた
    

本題パート

何をさせる？

• トップページのReactのロゴをJr. Championsのロゴに変更させたい！
  

実際にやってみた

イシューの作成

• DeepLの力を借りつつ、英語で作業内容を伝えます
  • 追記2024/01/16 : 日本語でも大丈夫です！
• 担当者をAmazon Qにするのを忘れずに
  • 忘れても後から設定できるのでご安心を
    

イシューの消化を見届ける

• 作成して数秒後、消化の進め方について確認するスペックを挟みます

  • 今考えると"フィードバック"の部分を「いいえ」にしても良かったかもしれません
    
    
    ※ページ翻訳を使いだしましたので違和感がありますが察してください笑

• 続けて、アプローチについてフィードバックを求められます

• ここで認識齟齬があれば返信して調整します
  

• 数回フィードバック(返信)を繰り返すとこれ以上は変更できないと脅されますのでなるべく指示は具体的に･･･
  

• 先に進めると、以下のパターンに分かれました

  • 何事もなくプルリクエストのレビューまで行く場合
  • 一時的に技術的に問題ありと表示されるものの、特にこちらのアクション不要でプルリクエストのレビューまで行く場合
    
    ※何事もない場合でも最終的にエラーになったので信頼度は低めです
    ※今回は解決しないままストップしてしまう事象は確認できませんでした

プルリクエストを確認(レビュー)

• プルリクエストにて、コードの変更を確認します(あれ？右上、ワークフロー失敗してるな･･･)
  

• ･･･え？インポート名重複してるじゃん！！そりゃ失敗するよQさん！
  

その後･･･

• 何パターンか試行錯誤しましたが、結局のところこんな簡単な内容でも期待通りの結果を得ることはできませんでした
• スタンダードでは本機能が月に15回上限のため、イシューの作り直しも痛いです

試行錯誤のご紹介

指示1: Jr. ChampionsロゴのpngファイルURLをからダウンロードしてインポート

結果: インポート名重複でエラー(先述の内容)

指示2: 指示1に付随して、古い不要なインポート文を削除

結果: インポート名重複はなくなったものの、そもそもURLからファイルをダウンロードしていなかったことが判明

指示3: イシュー作成画面にて、Attachmentsにpngファイルを添付してそれをsrc配下に置いて参照

結果: src配下に格納してくれなかった

指示4: (方針を変えて)imgタグに直接URLを指定

結果: 勝手に編集したテストファイルにて、何故か必要なインポート文を削除しそのせいでエラー
(さすがに厳しい･･･笑)

まとめ

• イシューの内容をAmazon Qが解釈してアプローチを提案してくるのですが、そこに難ありなのかなと…
  • 指定したURL情報が一切欠如する
  • テストファイルの編集は不要だと伝えても言うこと聞かない
  • インポート名の重複という明らかなエラーをそのままにする
  • などなど
• (もちろん、私のプロンプトエンジニアリング力が乏しいという理由が大半の可能性はあれど正直まだ使い物にはならないか･･･という印象を持ってしまいました)
• 今後の改善に期待です･･･！
• "いいね"多くいただけたら追加でもう少し試行錯誤してまた記事アップしようと思います！