グリーQA 2020年の振り返り

はじめに

こんにちは。グリーQA組織を統括しております、しゅうまい姫です。
しゅうまいよりは餃子が好きです。
しゅうまいというHNが他で使われていたこともあり、姫なんてつけていますが深い意味はありません。

私がやりたいことは、モバイルゲームQAの地位向上。

10年前、新卒で入社した会社が検証専門会社でした。
QAとは何かも知らずにたまたま入社し、仕事をする中でサービスの品質をより良くするという考えが好きになり、この仕事の重要性を実感しました。
そして運よく周りの方々に恵まれて成長できたので、業界に恩返しをしたいという想いがあります。
また、これまで働く中で、テスターを中心としたゲームQAに携わる人の就業環境や条件が厳しいことも実感しています。

良い品質のサービスをリリースするために重要な仕事だからこそ、もっと評価されてほしい。
職種として知名度があがり、QAという仕事を望んで選択する人が増え、携わる人が誇りに思える職業になればと思います。

ですが、そのためにどうすべきかはまだ模索中です。

現時点での答えとしては
『QAとしての技術力を持つこと』、具体的には下記のようなことではないかと仮定しています。
　-　品質担保する術を持っている＆活用できる
　-　何が適切な品質か考えることができる（品質を押し付けない）
　-　プロダクトと対話できる

上記を目指して、色々チャレンジをしています。
グリーQA Advent Calendar 2020は、メンバーが日々悩みながら取り組んでいることの一例となります。

本記事では総集編のような形で振り返りができればと思います。
グリーのQAはこんなことを取り組んでいるのかー、ということが少しでも伝われば幸いです！

2020年の振り返り

今回は以下3つの取り組みについて振り返りたいと思います。
1.現状より一歩進んだ品質向上/効率化
2.業務品質を一段引き上げるための体制強化
3.新しい風を取り入れる社外連携

1.現状より一歩進んだ品質向上/効率化

1-1.QA KPIの統一と可視化

今までQA組織が社内で複数に分かれていたこともあり、指標が統一されていませんでした。
個別プロダクトごとに追いたい数値で見ると自由が効くというメリットはあるものの、
組織全体としてどこにリスクがあるのか、どこに注力すべきかを判断するために、KPIの統一と可視化を進めました。

以下が統一した内容の抜粋です。

• 障害の定義
• 障害影響度ランク
• 障害発生要因
• BTS(バグトラッキングシステム)への障害内容の記載ルール

集計・分析のルール化、影響度が高い障害は再発防止とともに上長に報告する、といった運用ルールも併せて統一しました。

　結果と学び

• 統一後、半年程度運用してやっと分析やActionが取れるようになってきた
• プロダクト統括レイヤーとQA方針や費用のかけ方についてかなり交渉しやすくなった
• 数値の定義を合わせ、収集できるようになるのは地味に時間がかかる　

1-2.効率化推進

運用が続くと、新規機能や不具合対策のために基本的にテストケースは増えていきます。
現場も日々の業務に忙しいので「定期的に見直しましょう」の一言ではなかなかことは進みません。

今年は組織として、『10%工数削減』という定量目標を設定しました。
テストケースを見直しても良いし、テスト工程の一部を自動化してテスト工数を削減しても良いし、その他昔からの慣習で続けている業務の見直しでも良いよ、と伝えQAチームごとに詳細目標をたてて進めました。

具体例は下記をご覧ください
12月5日記事　定常的なテストを見直して工数削減に至った過程の話
12月8日記事　カスタム関数でキャラクタースキルの詳細をチェックする

　結果と学び

• チームのフェーズにより取り組む内容は違いつつも、10%分の削減はできた
• テスト実施を外部に委託しているとテスト詳細を把握しなくなることが多く、不要なテスト項目の残存につながりやすいため特にお薦め
• 常にやると疲弊するので、一定の期間をあけて横断プロジェクトやお祭り的にやることを推奨

2.業務品質を一段引き上げるための体制強化

2-1.協力会社との連携改善

グリーではテストケース作成やテスト実行はパートナー会社にお願いしています。
オフサイトのテストスタジオの稼働と並行して、社内にも案件管理者の方に常駐いただき業務を進めます。
WebゲームからNativeアプリに変わりゆく中で、仕様も複雑化し、
品質を担保するうえで案件管理者の方に求められるスキルは年々上がってきています。
一方で、案件管理業務に対応できる人材は不足しており、周りの事業会社の話を聞いても、同様に人材確保に苦慮しているようです。
　　
パートナー会社としても、

• どのタイミングで案件依頼があるかわからないため、優秀な人材を不用意にプールしておくことが難しい
• テストスタジオと客先常駐で求められるスキルセットが若干違うため、パートナー会社内だけでは育成が難しい

といった悩みがあるのではないかと考え、それらを考慮した情報連携や育成フォローをすることで連携改善を試みました。

　結果と学び

• 情報連携によりこちら側の意図は伝わった＆よい提案はいただけたので、滑り出しとしては順調
• 同じ座組で今後の案件も進めたいが、開発進捗状況を踏まえながら優秀な人材を前々からキープするのは難しい
• 今後も何回かPDCAを回して、より良いやり方を見つけたい 　　

2-2.QAグループのシナジー創出

1‐1で記載した通り、今までQA組織が社内で複数に分かれていたため、QAチーム間での情報連携が密ではありませんでした。
同じ組織となった後も、それぞれ良い経験やナレッジがあるにも関わらず連携は微増といったところでした。

上司からするとそれぞれの状況がわかるので連携すればよいと思うものの、チーム同士だと具体的なメリットが見えていないので連携が進むはずがないと気が付き、以下のことを進めました。

• 互いの状況を知るための定例MTGの設置
• 障害の定義など言語やKPIの統一
• メンバーのチーム間異動
• 共通課題に対するチーム横断プロジェクトの実施

　結果と学び

• 新プロのリリースQAなど何回も経験できないことに対して、他チームのナレッジを活用することで成功の確度をあげられた
• 隣のチームの状況を知るとどのようなメリットがあるかを伝えるところから始める必要あり
• チーム間異動により圧倒的にナレッジ共有は進む
• そもそもどのような組織体系が良いかは定期的に見直す必要あり。どんなに良い組織でもずっと同じ状態だと硬直化し、視野が狭くなることでデメリットにもつながる

3.新しい風を取り入れる社外連携

冒頭でQAの地位向上を目指していると記載しましたが、個社で取り組んでも限界があると感じています。
今まではWebアプリや組み込み系のQAと比べてどちらかというとクローズドな業界でしたが、業界全体を盛り上げられるよう、オープンな組織を目指しています。
そんな考えに賛同してくださる会社様との連携や発信を引き続き進めています。

3-1.社外勉強会、研究会の実施

この数年、同業社様にお声がけして3か月に一回の勉強会を実施しています。
並行して、若手有志が課題を持ち寄り少人数で会社の壁を越えて研究をする活動もしています(1年を研究期間とし、月次で各チームの報告会を開催)。
今年は研究会も2年目(2サイクル目)に入りましたが、メリットと課題が見えてきた一年でした。

　メリット

• 同業者様との定期的な連携によりメンバーの視野が広がる
• 自社だけではキャッチできない情報や技術を習得できる

　課題

• 研究にどこまで時間をさけるかは各社の事情(業務量やマネジメント方針)にもよるため、1年の研究を続けること自体が簡単ではない

　結果と学び

• メリットに記載したように、自社だけでは達成できないことがあるので続けたい
• こういった活動をどこまでストイックにやるかは悩ましいし、QAという業務の性質上、自分たちではコントロールしきれない業務の山谷もあるが、「自発研究していく意義について他社も含めてMgrレイヤーで認識合わせする」「長い目で見て、途中離脱しても翌年以降戻ってきやすい雰囲気を作る」といったところは意識して続けてみたほうがよさそう

3-2.CEDEC登壇

日々の業務を漫然とするのではなく、『より良くするためにどうしたらよいか』を思考することはとても重要だと考えています。
さらに、人前で発表することでより思考が深まると考えているので、業界のセミナーなどでの発表を推奨しています。
今年はコロナの影響もあり、CEDECのみとなりましたが、QAから下記の発表をしました。

脱テストケース依存！テストの軸を増やす手法『探索的テスト』をモバイルゲームで実践
リリース前に隠れた課題を検知！モバイルゲームのユーザーテスト検討事例
運営タイトルの障害を減らすモバイルゲーム運営会社2社の取り組み

　結果と学び

• 発表により、他社だけでなく自社からの理解度も高まったことが今年の収穫。特に、開発チームメンバーからも相談をもらうケースがあり、横展開にもつながった
• 指摘をいただくこともあるが、それもまたありがたく受け止めることが大切。(QAは各社一組織であることが多いため、なかなかフィードバックをもらうことがないので。)

3-3.JSTQB認定パートナー取得への取り組み　

QA業界では唯一の国際資格としてJSTQBというものがあります。
ドメインに関わらず体系的にまとめられており、現在日本では、Foundation LevelとAdvanced Levelの認定試験があります。
業務を通して得られる知識には限りがあり、汎用的な知識を身に着けることは重要だと考えているので
この数年、資格の取得を推奨してきました。
社内で資格保有者が増えてきたことにより、今年、国内では最上位のPlatinumパートナー(現時点ではTopのニュースに記載があります)となりました。
※FoundationとAdvanced資格ごとにそれぞれ得点が決まっていて、社内の合計得点によりパートナーレベルが変わります

　結果と学び

• 近年のゲーム開発は自社単独だけでなく複数社が役務分担して開発することがあるので、その際にQAのレベル感を説明するときに良さそう
• なんといっても資格は基準があるのでわかりやすい。説明もしやすい

今年の学び

ということで、2020年の取り組みをざざざっと書いてみました。
振り返って思うことは、色々なことに取り組みつつも別に奇抜なことはなく、普通のことしているなぁという感じです。
ただ、改めて重要だと思ったことは、
『きちんと可視化をして他者の理解を得やすい状態にすること』です。

今年取り組んだKPIの可視化も、目標の明確化も、協力会社との座組の明確化も、資格や発表も、
各自の思考の中だけでなく、他者と共有できる状態になったからこそ一歩前に進んだように思います。

一方で、研究は進めつつも課題について共有・検討できていない研究会関連はこれからだと再認識しています。

QAの地位向上のための長い長い道のりの一歩となるように、来年も頑張っていきたいと思います。
そして、まだまだ迷いながら手探りで進めている状態ですので、興味がある方やご意見がある方はいつもでご連絡お待ちしております。

2021年は2020年よりも前に進められていますように！
それではみなさま、メリークリスマスイブ！