こんなことを書いてしまうと自分のイメージダウンになってしまうことを承知で記載しています
あくまでも好きなサービスの1利用者としての意見になります
Paizaとは
ITエンジニア向け総合求職・学習プラットフォームになります。
プログラミングの学習だったり、求職ができる国内サービスです。
こちらのサービスの売りとしては、プログラミングスキルチェックにより、 スキルレベルを6段階で評価します。
問題がS~Dランクに分かれており、ランクアップのためのチャレンジは各問題で一度のみになります。
ランクが高ければ企業からのスカウトが届きやすくなり、実力がある人ほど転職活動が有利になります。
経緯
2020年ごろからPaizaを使用してプログラミングの学習を行っており、スキルチェック問題や言語の学習サービスを利用していました。
半年ほど有料会員として登録したこともあるほど、好きなサービスです。
そして、2021年にはPaizaを利用して憧れのエンジニアになることができました！
具体的にはBランクを取得したことで、企業からのスカウトが届き、その中の一社から内定をいただきました。
Paizaは私にプログラミングの楽しさを教えてくれ、さらにエンジニアになることもできた素晴らしいサービスだと感じています。
今までに累計６５問提出しており、問題にはそこそこ取り組んでいたなと思います。
サービス利用停止に
エンジニアとして働いて業務経験を積んだことで、自分の業界内での立ち位置やその他の企業の話も聞いてみたいと思いました。
そこで、久しぶりに企業からのスカウトを募集しカジュアル面談を行うことにしました。
実際に４社ほどカジュアル面談を申し込んだのですが、希望日を過ぎても一向にステータスが企業側で日程調整中から変化しません。
おかしいなと思い、問い合わせフォームに現状を送信しました。
そうするとそこで初めてあなたは不正受験の可能性が高いため、今後の転職サービスの利用を停止させていただきますとの連絡が来ました。
実際に届いたメッセージ
お世話になっております。
paiza運営事務局です。
[応募会社名]様にご応募いただいておりますところ大変恐縮でございますが、
問題回答の件で確認したい点がございます。
paizaでは受験問題のチェックをさせていただいております。
[橋田至]様のアカウントが不正受験である可能性が高いというアラートがあがり、
ご連絡させていただきました。
複数アカウントをご利用されての受験やChatGPT等のAIで生成されたコードでの提出、
Web上にアップロードされているコードで回答は禁止行為となります。
こちら、事前に何らかの手段で問題文やスキルチェックの回答コードを知った上で受験するなど、paiza利用規約に違反していませんでしょうか。
下記、受験時に表示させていただいている、利用規約メッセージです。
・問題及び提出コード、ヒントをブログやSNS等に掲載しない
・回答やヒントを教えてもらったり他人のコードを利用しない
・複数アカウントで事前に問題を見るなどの不正行為をしない
念のため、下記に該当する条項を抜粋させていただきますので
ご参考としてくださいませ。
つきましては、上記該当する場合は、本メールの返信にて今回不正受験に至った経緯をお知らせください。
また、複数アカウント登録されている場合は、paiza登録のユーザーアカウント（メールアドレス）を全てお知らせください。
【返信用フォーマット】
＜不正受験の経緯＞
＜登録のpaizaユーザーアカウント全て＞
今後の対応については、上記回答をもって事務局内で検討をさせていただきますので、必ずご返信下さいますようお願いいたします。
なお本件に関して期日までにご返答いただけない場合は、本応募は取り下げとしまして、今後の転職サービスのご利用も停止させていただきます。
ご留意くださいますようお願いいたします。
paiza運営事務局
AIが生成したコードを提出するとサービス利用停止に
実際に私はChatGPTの力を借りて問題を一問だけ解いたことがありました。
2023/01/28にA055:脱出ゲーム という問題をChatGPTの力を借りながら解きました。
結論としては、Paizaの転職サービスを利用停止となりました。
実際に届いたメッセージ
本件につきまして社内で検討させていただきましたところ、
大変恐縮ではございますが、今後の「転職サービス」については利用停止とさせていただければと存じます。
弊社は本スキルチェックの結果をもとに就職サポートサービスを提供しておりますので、
「外部的補助を使用されたコードを企業の採用基準としてご利用いただく、ということはできかねる」と判断したためです。
今回ご返信頂きました内容を拝見しましたところ、
利用規約第１１条（禁止行為）にも記載しております「解答へのヒント等の示唆」にあたると弊社では考えております。
※以下、改定前の利用規約にも記載がございますのでご確認くださいませ。
============
第１１条（禁止行為）
利用者等はpaizaの利用にあたり、以下の各号のいずれかに該当する行為または該当すると当社が判断する行為をしてはなりません。
（１）第三者によるなりすまし受験、他者のアカウントを利用した受験、カンニング等の不正行為。
（２）同一人が複数のアカウントを取得して、別アカウントでpaizaを複数回受験する行為。
（３）ブログ・SNS等の各種媒体（インターネット媒体に限られず、不特定多数が閲覧可能なものを全て含む。）
上において、当社がpaizaで出題した問題の内容、当該問題に対する解答、解答へのヒント等の示唆およびカンニング等の不正を助長する内容等を掲載する行為。
（４）その他、当社が不正または当社の業務を妨害すると判断する行為。
============
恐れ入りますが、不正受験の判定方法につきましては社外秘とさせていただいておりますため、
ご了承いただけますと幸いです。
このメッセージによると、ChatGPTなどの生成AIを使用する行為は解答へのヒント等の示唆に該当するということでした。
しかし、Paizaは私がこの回答を提出した約4ヶ月後に利用規約の改定を行なっています。
ここで初めて生成系AIを利用した受験を不正と明確化しています。
お客様が当社サービスをご利用いただくにあたり定めている禁止事項において、生成系AI（人工知能）を利用した受験行為など、不正行為の明確化を行いました。
つまり、以前の利用規約では生成系AIの利用は明確化されていなかったと言えます。
さらに、生成AIを利用したかどうかの検出方法については、社外秘との回答ですが、こちらはいくらでも抜け道が考えられると思っています。
実際にどのように判定しているのか不明ですが、例えばChatGPTが提案したコードから変数名や関数名を変更したり、無駄な処理を追加してしまえば全てを検出することは不可能でしょう。
どこまでの範囲で同じであれば、不正受験と捉えられるのか明確な記載がありません。
そのため、極端に言ってしまえば標準入力のみChatGPTに生成してもらった場合でも不正と認定される可能性があります。
N = int(input())
さらに、解答へのヒント等の示唆が禁止とありますが、これも同じように標準入力だったり、ソートの手順などがネットに載っており、それをそのまま使用した場合転職サービスの利用を停止になる可能性が出てくることになると思います。
例えばpythonにてある配列から重複を削除してソートするコードがネット上にたくさんあります。
sortedList = sorted(set(list))
このような単純な回答で解ける問題もPaizaにはあると思います。
これもサービス利用停止になってしまう可能性が出てきます。
このように定義が曖昧だと感じたり、抜け道がいくらでも存在してしまう理由からサービス利用停止になってしまうのは悲しいなと感じます。
その他のサービスについて
Piazaのようにプログラミングの問題を提供しているサービスは他にもいくつか存在します。
代表的なものとしては
- AtCoder
- LeetCode
- CodeGolf
などでしょうか
その他のサービスが生成系AIに対してどのような態度を取っているのか調べてみました。
AtCoder
AtCoderの代表取締役である直大さんのブログによれば、
AIを使って回答することは、禁止ではないが、コピペだけの利用については非推奨、としたいと思います。
との回答です。
理由としてはやはり、AIが書いたコードか人間が書いたコードかを見分けることは困難であり、そもそも禁止することが難しいとあります。
Paizaだけがこの問題を解決しているとは思えないため、やはりPaizaでも完全に見分けることは不可能だと思ってます。
AtCoderでも企業からの採用が収益になっているとの記事もありました。
そのため、AtCoderでもエンジニア採用としてのサービスの面もあり、ビジネスモデルとしてはかなり近しいと思います。
LeetCode
こんな議論がありました。
コメントでは、オンライン評価を廃止するべきでない。なぜならChatGPTでは解けない問題がたくさんあるから。
という意見が多く載せられています。
とはいえ、LeetCodeやAtCoderは問題に対する回答をSNSなどWeb上にアップすることを禁止していませんが、Paizaは明確に禁止事項としているので、そこの態度は大きく異なるのかもしれません。
類似事例
他にも私と同じ悩みを抱えている人はいないのか調べてみました。
同じように転職サービスの利用停止になっている方がいました。
今回問題だと感じる点
- ユーザー側には一切の通知が無い
- そのため、転職サービスが利用停止になっていたとしても気付けない
- 応募しても待ってるだけではステータスが一生変更されない
- 問い合わせをしないと永遠に
企業側で日程調整中となる。 - そのためこちらから運営に問い合わせをしない限り、企業側の問題なのか運営側の問題か、ユーザー側の問題かわからない。
- 問い合わせをしないと永遠に
- ランクアップ自体は出来てしまう。そのため、ChatGPTを使用すればAランクまで(問題によってはSランクまで)到達可能
- たとえ不正受験を行なっていたとしてもスカウト自体は大量に届く
- 今まで生成AIを使用せず問題をたくさん解いていたとしても、その後1問でも不正受験と認定された場合、その瞬間に転職サービスの利用を停止される。
私自身以前は転職活動をPaizaで行い、実際に転職できていた過去があります。
しかしその後一回でも生成AIを使用した疑いがあると転職サービス自体が利用できなくなります。
考えた解決策
問題だけ列挙しても不満を言っているだけなので、この問題をどのように解決してほしいか１ユーザーが考えました。
1. ChatGPTが答えられない問題のみ転職サービス上で評価する
問題が複雑で生成AIが答えられないもののみ評価対象とすれば、転職サービスは利用可能になると思います。
ただこれは生成AIの進化だったり、そもそも生成AIが回答できない問題を作ることが難しいため、実現可能であれば素晴らしいですが、現実的ではないと感じます。
2. ChatGPTの仕様の疑いのあるユーザーはフラグを付けて、応募時に企業側に通知する
採用する企業側に応募したユーザーがChatGPTを使っている可能性を伝える。
そうすれば企業側で疑いのあるユーザーには対面のコーディングテストを実施するなど対策可能です。
3. ChatGPTを利用した疑いのあるランクアップはその時点で不正扱いとしてランクアップさせない
こちらを可能であれば実施してほしいですね。
もしくはせめて不正受験と見なされたとしても、不正受験と判定した問題のみ不正解とし、ランクアップを取り消すなど対策は可能だと思います。
転職サービスの利用時になって初めて「不正受験があったかもしれないので、転職サービスは利用禁止です！」と言われるのは、転職のためにPaizaを利用していた人の場合は辛いです。それならもっと早く言ってくれと感じます。
4. そもそもChatGPTの利用を許可する
ChatGPTにも解ける問題の限界があります。
そのため、利用を許可しても良いのではないでしょうか？
ChatGPTでもただ問題のコピペをしても解けない問題があります。
処理手順を丁寧に入力しないと正解を出してくれない問題があり、それができるなら記法を覚えるだけで問題は解けるようになるので、ChatGPTを使用していたとしても一定のレベル以上になるには問題解決能力、アルゴリズム力が必要です。
まとめ
確かに転職サイトとしての側面を見れば、ランクが一定以上のユーザーは実力を正当に評価できていないといけないと感じます。
ただ同時にChatGPTが回答できるレベルであれば企業側も人を雇うより生成AIを使った方がコストカットになる可能性もあります。
そう考えるとやはり生成AIが回答できない問題を増やして、それを解決できるようなエンジニアを企業側も求めるという方向がサービスとして健全かと思います。
少なくとも現状の抜け道がいくらでも存在すると思われる規約で利用停止になる状況は不公平だと感じます。
それこそ規約違反になるのでやらないですが、複数アカウントを作成してChatGPTが生成したコードを少し変えてまたAランクとか取ればまた転職サービスを利用できてしまうのではないでしょうか？
Paizaは日本語で書かれた初心者でも解きやすい問題が多いです。
AtCoderも私は行なっているのですが、初心者にとっては難しい問題が多く、ハードルが高いと感じます。
PaizaのAかSランク程度の問題がAtCoderでC問題として出題されたりします。
そのためプログラミング言語自体初学者の人にとっては最初のハードルがとても高いです。
現に以下のブログでも、ユーザーの 約６割が参加回数4回以下 とあります。
LeetCodeは素晴らしいサービスですが、問題や解説がすべて英語で記載されており、翻訳しても変な日本語になったりして問題の理解が大変です。
そのため、Paizaは問題が日本語で書かれており、簡単な問題も多いため、プログラミング初心者にとっては素晴らしいサービスだと思います。
現状の課題が解決しよりよいサービスになることを望みます。
PS.サービス利用停止を解除していただけると嬉しいです。