1. ReazonSpeechデータセットとは
テレビ番組から収集された約19000時間の音声データを含む日本語ASRコーパス．
ReazonSpeechの音声コーパスや音声認識モデルが，商用利用可能で無償で提供されています．
音声認識モデルは上のサイトから試すことも可能ですが，今回は自前で学習したかったので，データセットをダウンロードするまでのお話です．
2. データセットのダウンロード
基本的にReazonSpeech HowToガイドに従って進めました．
若干詰まったところがあったり，私自身HuggingFaceからのロードが初めてだったりしたため，具体的な動作も含めてまとめていきます．
ブラウザで同意
HuggingFace上で規約に同意する必要があります．
同意した後にもDatasetViewerでは以下のようなエラーが出ますが，このままで大丈夫そうなので次に進みます．
Cannot get the config names for the dataset.
Error code: ConfigNamesError
Exception: GatedRepoError
Message: 403 Client Error. (Request ID: Root=1-65337e1a-11cb0c8b33cd42255b7329e9;0bdf386e-d997-4ba2-baeb-a5168564b673)
Cannot access gated repo for url https://huggingface.co/api/datasets/reazon-research/reazonspeech.
Access to dataset reazon-research/reazonspeech is restricted and you are not in the authorized list. Visit https://huggingface.co/datasets/reazon-research/reazonspeech to ask for access.
Traceback: Traceback (most recent call last):
File "/src/services/worker/src/worker/job_runners/dataset/config_names.py", line 65, in compute_config_names_response
for config in sorted(get_dataset_config_names(path=dataset, token=hf_token))
File "/src/services/worker/.venv/lib/python3.9/site-packages/datasets/inspect.py", line 351, in get_dataset_config_names
dataset_module = dataset_module_factory(
File "/src/services/worker/.venv/lib/python3.9/site-packages/datasets/load.py", line 1512, in dataset_module_factory
raise e1 from None
File "/src/services/worker/.venv/lib/python3.9/site-packages/datasets/load.py", line 1479, in dataset_module_factory
raise e
File "/src/services/worker/.venv/lib/python3.9/site-packages/datasets/load.py", line 1453, in dataset_module_factory
dataset_info = hf_api.dataset_info(
File "/src/services/worker/.venv/lib/python3.9/site-packages/huggingface_hub/utils/_validators.py", line 118, in _inner_fn
return fn(*args, **kwargs)
File "/src/services/worker/.venv/lib/python3.9/site-packages/huggingface_hub/hf_api.py", line 1741, in dataset_info
hf_raise_for_status(r)
File "/src/services/worker/.venv/lib/python3.9/site-packages/huggingface_hub/utils/_errors.py", line 277, in hf_raise_for_status
raise GatedRepoError(message, response) from e
huggingface_hub.utils._errors.GatedRepoError: 403 Client Error. (Request ID: Root=1-65337e1a-11cb0c8b33cd42255b7329e9;0bdf386e-d997-4ba2-baeb-a5168564b673)
Cannot access gated repo for url https://huggingface.co/api/datasets/reazon-research/reazonspeech.
Access to dataset reazon-research/reazonspeech is restricted and you are not in the authorized list. Visit https://huggingface.co/datasets/reazon-research/reazonspeech to ask for access.
必要なモジュールのインストール
$ pip install datasets soundfile librosa
HuggingFaceへのログイン
コーパスをダウンロードする際には，こちらに従ってCLIからもログインする必要があります．
$ pip install -U "huggingface_hub[cli]"
$ huggingface-cli login
ここでTokenを聞かれるので，HuggingFace > Settingsから作成したREAD権限のAccess Tokenをコピペしたら完了です．
データセットのロード
pythonを起動して以下を実行します．
デフォルトでは約5時間の音声(350MB)を含む小さいデータセットへのアクセスになっています．
>>> from datasets import load_dataset
>>> ds = load_dataset("reazon-research/reazonspeech")
ここで以下のエラーが出ました（2023/12/11現在）．
ブラウザで https://reazonspeech.s3.abci.ai/small.tsv にアクセスしても繋がらなかったため検索してみたところ，全ABCIサービス停止中とのこと．
>>> ds = load_dataset("reazon-research/reazonspeech")
Using the latest cached version of the module from /Users/{$PATH}/.cache/huggingface/modules/datasets_modules/datasets/reazon-research--reazonspeech/00f9d8f336dd718ea4c26dba7be9a2ce3795b9d92903c626baa912de3021ba2d (last modified on Mon Dec 11 16:05:54 2023) since it couldn't be found locally at reazon-research/reazonspeech., or remotely on the Hugging Face Hub.
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/load.py", line 2152, in load_dataset
builder_instance.download_and_prepare(
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/builder.py", line 948, in download_and_prepare
self._download_and_prepare(
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/builder.py", line 1711, in _download_and_prepare
super()._download_and_prepare(
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/builder.py", line 1021, in _download_and_prepare
split_generators = self._split_generators(dl_manager, **split_generators_kwargs)
File "/Users/{$PATH}/.cache/huggingface/modules/datasets_modules/datasets/reazon-research--reazonspeech/00f9d8f336dd718ea4c26dba7be9a2ce3795b9d92903c626baa912de3021ba2d/reazonspeech.py", line 81, in _split_generators
meta_path = dl_manager.download_and_extract(meta_url)
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/download/download_manager.py", line 561, in download_and_extract
return self.extract(self.download(url_or_urls))
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/download/download_manager.py", line 424, in download
downloaded_path_or_paths = map_nested(
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/utils/py_utils.py", line 456, in map_nested
return function(data_struct)
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/download/download_manager.py", line 450, in _download
return cached_path(url_or_filename, download_config=download_config)
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/utils/file_utils.py", line 182, in cached_path
output_path = get_from_cache(
File "/Users/{$PATH}/.env/lib/python3.10/site-packages/datasets/utils/file_utils.py", line 599, in get_from_cache
raise ConnectionError(f"Couldn't reach {url} ({repr(head_error)})")
ConnectionError: Couldn't reach https://reazonspeech.s3.abci.ai/small.tsv (ConnectTimeout(MaxRetryError("HTTPSConnectionPool(host='reazonspeech.s3.abci.ai', port=443): Max retries exceeded with url: /small.tsv (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x15c0f33d0>, 'Connection to reazonspeech.s3.abci.ai timed out. (connect timeout=100)'))")))
サービス停止期間が終わればアクセスできると信じて，続きは後日またトライしてみます．
後日実行してみたところ，上手くダウンロードできました！！
進捗があればまた追記します．
初心者による記事のため，情報に誤りがある可能性があります．