はじめに
大学時代に卒業研究の一環として作っていたiOSアプリケーションの開発の続きをしたくなったが、ソースが残っていなかった。
そこで、学習や記録もかねて１から開発しその過程を投稿していこうと思う。
アプリ概要
視覚障碍者の触図を使った学習支援アプリであり、iPhone の背面カメラに映された触図上の手を認識し、触図上のどの地点を触
っているのかを音声で案内する。
触図とは
手や指で触って分かるようにした図。線、点、多角形などの図の構成要素を凹凸にすることや、異なる種類の素材を使用することによって、触って認識できるようにしたもの。点字書籍の図版や建物内の案内図などに利用される。
必要機能
- 背面カメラから得られた画像をリアルタイムで画面に表示する
- 手の認識
- 触図の位置認識
- 触図の学習データの認識
- 音声案内
- 触図データ読み上げのフラグ
1については学習者に直接関係ないが、介助者が確認することができるのと、開発を行うにあたって動作を確認する必要があるため実装する。
開発環境
～ハードウェア～
・PC
MacBook Pro
macOS Monterey バージョン 12.01
・iPhone
iPhone 13pro 128GB
～ソフトウェア～
・Xcode
Xcode 13.4.1
次へ
次の記事では、カメラ画像を画面に表示させるところまでやろうと思う。