デフエンジニアの会アドベントカレンダー２３日目に参加しています。
はじめに
私は生成AI関連業務が本業ではないのですが、社内の問題解決のため他部署で生成AI関連業務を主としているところにアプリ開発の相談を持ちかけ開発に至りました。
今回はその話を書きたいと思います。
ろう・難聴の社員の困りごとを解決するためにどんなことをしたか
前提として、今働いている会社には私を含めてろう・難聴の社員が複数名います。
そこで会議の際うまく内容が把握できないなどの困りごとが発生していました。
弊社では普段はTeamsを使って文字チャットしたりオンライン会議したりなどをしているのですが、
例えば会議の際、相手が音声の場合はトランスクリプト（もしくはライブキャプション）を起動させれば、相手の音声を字幕に変えて表示させることができます。
私はそれを見て相手の話を理解し、こちらからは文字チャットで返答したりなどをしています。
（少人数の会議の時は全員文字チャットにしてくれる場合もあります）
しかし、トランスクリプト（もしくはライブキャプション）は万能ではないため、誤字が発生することがあります。
実際にあった誤字の例は以下の通りです。
| 誤字 | 正 | 備考 |
|---|---|---|
| 坂井さん | 堺さん | たまたま別の部署に本当に「坂井さん」がいた場合、その人のことかなと思って聞いてしまう等が起こる |
| この株価がなかったんですけど | この幹部会議でもあったんですけど | この誤字は聞こえない側から見ると誤字と気づかないまま受け取ってしまう可能性がある＝会議の内容を間違って把握することに繋がりやすい |
・・・など、文脈で「この誤字は多分こういうことだろうな」と推測できる誤字もあれば、
推測すらできない自然な文でも実は誤字だったりすることがあるため、どうしても訂正が必要になります。
（もしすべて訂正を頼まず聞こえない人の推測だけに任せると、ズレまくって大変なことになる可能性もあります）
そこで、Teamsの会議中は誤字を訂正する担当をローテで決め、会議画面とは別のチャットで誤字を訂正していただけるようにしました。
（このやり方は全社に広まり、今は社内イベントや社内研修などでも使われるようになったのでお勧めです）
これによって、ろう・難聴の社員は会議の内容をある程度正しく把握できるようになりました。
しかし、このやり方には以下のような問題があることが分かりました。
- 訂正者はTeamsのトランスクリプトを見て訂正があれば別チャットに移動して訂正を書く。その手間が大変
- 過去の発言にさかのぼって訂正しても、聞こえない側から見ると「どこの発言の訂正なのか」が分かりづらい
などなど。
そこで、この運用をAIの力でもっとやりやすくできないか？と考えて、弊社の生成AI業務を中心としているチームに相談しました。
すると快く話に乗ってくださり、去年から開発に携わってくださいました。
というのが今までの経緯です。
そしてその後も開発を繰り返し、またAPI使用不可などトラブルがあったものの、その後も色々とアレンジを繰り返して今は外部レビューをお願いできる段階にまでなりました。
こちらが今の画面です。（スクショは実際の画面のほんの一部で、実際にはほかにも様々な機能が詰まっています。アプリの技術的なお話などを知りたい方は後述する上原さんの2025年アドカレを読んでいただけると嬉しいです）
このツールによって、さまざまなことが解決に近づきました。
主な改善点は以下の通りです：
1. 訂正作業の効率化
従来は、Teamsのトランスクリプトを見て訂正があれば別チャットに移動し、そこに「訂正したい言葉」と「正しい言葉」を書く必要がありました。
このツールでは、一画面でまとめて表示され、そこに直接訂正を入れて反映できるようになりました。
別チャットと比較する必要がなくなり、訂正後のログをそのまま読めるようになったのも大きなメリットです。
2. 訂正対象の発見が容易に
Teamsのトランスクリプトは3～5行しか表示されず、ライブキャプションは文字数の幅が狭いため、修正対象個所を探すのが困難でした。
このツールでは一画面に全文が表示され、直接訂正できるようになったため、過去の発言をさかのぼって訂正対象を探すのが格段に楽になりました。
・・・などなど。
また、今回のツールではそれに加え、さらに「内容をAIで再編する」「ハイライト機能」「録音データを文字起こしし、そこに修正をかける」などの機能も加えてくださいました。
これは本当に嬉しく思いますし、技術者の皆さんの力には脱帽です。
※技術的なお話やその他画面の詳細などは開発を主に担当してくださった上原潤二さんが以下記事にまとめてくださっています。
2年目を迎えた、聴覚障がい者むけAI共同文字起こしCollaRecoX－2025年NTT－TXアドベントカレンダー
CollaReco〜セミナーや会議で耳が聴こえにくい方の理解と積極参加を助ける〜人機(AI)協調型文字起こしシステム－2024年NTT－TXアドベントカレンダー
また、メンバーの一人である山下城司さんは2025年外部アドベントカレンダーでもこの記事を出しておられます。
こちらは今回のツールとは関係ないのですが、こちらも面白いので是非読んでみてください。
Google GeminiのCanvasで自分の作りたいアプリのデザイン違いを何パターンも出力させるの結構良いと思うんだけどどう思う？
著作例 codezine
上原さんをはじめ、開発に携わってくださったすべてのメンバーに感謝しています！
お願いする際に困りごとを「実感」してもらうことの大切さ
ここから本題に入ります。
ここからは、私が当事者としての困りごとを伝え、開発をお願いするときに気づいたことなどをまとめたいと思います。
言葉だけでは伝わりにくかった困りごと
開発をお願いしていく中で、私自身が気づいたことがあります。
それは、「聞こえない人たちの困りごとを、どう伝えるか」ということです。
開発を引き受けてくださったチームのメンバーは皆、ろう・難聴の社員と一緒に働いた経験がありませんでした。
そのため、最初は「誤字の訂正が大変」「どこを訂正したか分かりにくい」といった困りごとを説明しても、頭では理解できていても腑に落ちること自体が難しかったように感じました。
実際に体験してもらうことで見えてきたこと
そこで、文章だけで依頼するのではなく、過去の会議の動画のトランスクリプトを見たり、また、実際に会議に参加してもらい、トランスクリプトを見ながら修正を体験してもらうことになりました。
そこでメンバーは皆さん実際に自分でトランスクリプトを見て、誤字がどれくらい発生するのか、それを訂正する手間がどれほどかかるのかを実体験してくださいました。
すると、開発メンバーからは「こんなに誤字が多いんですね」「訂正するのは確かに大変ですね」といった声が聞かれました。
体験から生まれた新しい気づき
また、同時に、「話す側も色々と気を付けないといけないことがあるね」と言ってくださった方もいます。
そして、「誤字があっても、それをただ訂正すればいいということはない。話す側もなるべく誤字が出ない話し方を心掛ける、そのうえで修正が出れば修正するという考え方が大事だ」とみんなで話し合うことができました。
また、あるメンバーは休日にイベントに出かけた際、たまたまそこで音声文字起こしの展示を見てインスピレーションを得たと話してくださいました。
そしてそこから新しいアイデアが生まれ、開発に活かされることもありました。
皆さんが積極的に色々と体験し、考えてくださったことを嬉しく思います。
自分の困りごと解決を依頼するときに気をつけたこと
そして、実感してもらうことと同じくらい大切だと感じたのが、「依頼の仕方」です。
開発を進めていく中で、自分の困りごとを解決してもらうために他の人の力を借りるとき、どんなことに気をつければ良いのか、実体験を通して学んだことがあります。
相手の立場や状況を理解する
開発メンバーは皆、本来の業務を抱えながら、この開発にも協力してくださっています。
そのため、「すぐに対応してほしい」「こうしてほしい」と一方的に要望を伝えるのではなく、相手の状況を考えながらお願いすることを心がけました。
例えば、「この機能が欲しい」と伝えるときも、【なぜ】を明確に伝えるようにしました。
相手も限られた時間の中で動いてくださっているため、優先順位をつけやすくしてもらうことが大事だと感じたためです。
具体的に伝える
「こういう機能があったら便利」という漠然とした要望ではなく、「こういう場面で、こういう困りごとがあるから、こういう機能が欲しい」と具体的に伝えるようにしました。
開発メンバーの皆さんはその道のプロなので、どんな伝え方でも色々と考えて理解しようとしてくださっています。
それで、当初気を使ってあいまいな説明をしてしまったときでも根気よく「これはこういうことか？」「こういう意味か？」と聞いてくださっていました。
ですが、それに甘えず、メンバーの方々の負担を少しでも軽減するためにも、こちらも伝え方を工夫することが大事だと感じました。
そのため、スクショなども活用しながら背景や状況を共有し、聞こえる人が普段意識しない「聞こえないこと」による困りごとをできるだけ具体的に伝えるよう心がけました。
私の下手な説明でも色々と聞いてくださり時間をかけて理解しようとしてくださったのは感謝しています。
感謝の気持ちを忘れない
協力してくれることへの感謝の気持ちは常に忘れないようにしました。
「ありがとうございます」「助かりました」といった言葉をこまめに伝えることで、お互いに気持ちよく進められる関係を築けたと思います。
また、開発が進んで新しい機能が実装されたときは、実際に使ってみてフィードバックを返すことも大切にしました。
自分の依頼したものが形になり、それを喜んで使っている姿を見せることが、開発メンバーのモチベーションにも繋がったようで私も嬉しく思っています。
一緒に考える姿勢を持つ
依頼する側として、「作ってもらう」という受け身の姿勢ではなく、「一緒に解決策を考える」という姿勢を持つことも意識しました。
開発メンバーから「こういう実装はどうですか？」と提案されたときは、実際に使う立場から意見を伝えたり、「こういう使い方もできそうですね」と更にアイデアを出し合ったりしました。
それ以外にも、メンバーみんなでお互いに意見を出し合いながら進めることで、より良いものが生まれていったと感じて嬉しく思っています。
おわりに
この開発を通して、私は多くのことを学ばせていただきました。
ろう・難聴者の困りごとは、それを経験していない方々には言葉だけでは伝わりにくいです。
でも、実際に体験していただき、一緒に考えることで、より良い解決策が生まれます。
そして、感謝の気持ちを忘れず、お互いに尊重し合いながら進めることが大切だということです。
何より嬉しかったのは、開発を通してメンバーの皆さんが「聞こえないこと」について色々と知り、理解しようとしてくださったことです。
一緒に考えることで、お互いの理解が深まっていく過程そのものがとても嬉しかったです。
今回開発していただいたアプリは、まだ完成形ではありません。
これからも改善を重ねていく必要がありますし、さらに多くの社員にも使っていただくことで新たな課題が見つかるかもしれません。
でも、メンバーの皆さんが快く引き受けてくださったおかげで、技術の力でろう・難聴の社員がより働きやすくなる環境が少しずつ整ってきています。
このことを本当に嬉しく思っています。
そして、いずれは社外の方々にも使っていただけるようになれば嬉しいなと思います。
最後に、この開発に携わってくださった生成AIチームの皆さん、そして協力してくださったすべての方々に、心から感謝したいと思います。本当にありがとうございました！
今までのアドカレリンク
今年はアドカレたくさん書きました！頑張ったので読んでもらえると嬉しいです。
Difyで自分専用の音声文字起こしアプリを作った話【ノーコード×AI】
AI時代に強いエンジニアとは① ー生成AIのハルシネーションとどう向き合うかー
AI時代に強いエンジニアとは② ーAI駆動開発についてー
AI時代に強いエンジニアとは③ ー完璧なAIが登場したら、エンジニアは本当に不要になるのか？ー
【初心者OK】Cursor×Streamlitで作る！AI感情分析アプリを爆速実装する完全ガイド