無料でも使える「最強ハード」を選び抜く
1-1. GPU は常に「T4」を狙う
ランタイム → ランタイムのタイプを変更 → T4 GPU
無料で割り当てられるGPUは Tesla T4（FP16性能トップ） が最速。K80やP100が当たった場合は、ランタイムを一度「なし」にして再接続し、T4を引き直す価値があります。
1-2. TPU v2-8 が使えるか試す（無料でOK）
同じメニューで「TPU」を選択。TensorFlow / JAX ならほぼ自動で爆速化。
PyTorch でも torch_xla を使えば恩恵あり（!pip install cloud-tpu-client 等が必要）。
注意：TPUが常に割り当てられるとは限らないが、ダメ元で試す価値あり。
1-3. 「ハイメモリ」ランタイム（運次第で無料）
ハイメモリ が選択肢に出たら即切り替え。RAM 12GB → 25GB 超に増え、スワップが激減し I/O が爆速になります。
無料枠でも一時的に表示されることがあるため、ランタイム作成時にチェック。
- データ読み書きを極限まで高速化
2-1. Google Drive に直接アクセスしない
Drive は遅い。必ず ローカルSSD（/content/） にコピーしてから処理する。
python
!cp -r /content/drive/MyDrive/data /content/data
巨大ファイルはzipのままコピーし、/content で展開するほうが断然速い。
2-2. ダウンロードは並列化＋高速ツール
Google Drive のファイルは gdown が安定＆高速
!gdown --id ファイルID
一般URLは aria2c（並列ダウンロード）
!aria2c -x 16 -s 16 "URL"
2-3. データセットをローカルキャッシュに乗せる
TensorFlow：
python
ds = ds.cache('/content/cache') # 2回目以降の読み込みが爆速
ds = ds.prefetch(tf.data.AUTOTUNE)
PyTorch：
python
DataLoader(dataset, batch_size=..., num_workers=2, pin_memory=True, prefetch_factor=2)
num_workers はCPUコア数（多くて2～4）に合わせ、pin_memory=True でGPU転送を高速化。
2-4. RAM ディスク /dev/shm を使う
Colab の共有メモリ領域（実RAM上）にデータセットを置けばSSDよりさらに速い。
空き容量は !df -h /dev/shm で確認（通常 12GB 程度）。
python
!cp dataset /dev/shm/
2-5. ファイル形式を軽くする
CSV → Parquet / Feather で pandas 読み込みが3～10倍速
画像多数 → TFRecord や HDF5 に固める
大規模テキスト → mmap モードで逐次読み込み
- コード・ライブラリの内部最適化
3-1. TensorFlow のフル加速
python
混合精度（T4のTensorCoreを活用）
tf.keras.mixed_precision.set_global_policy('mixed_float16')
XLAコンパイル（JIT）を有効化
tf.config.optimizer.set_jit(True)
関数をグラフ化
@tf.function(jit_compile=True)
def train_step(...): ...
これだけで2～4倍高速になるケース多数。
3-2. PyTorch のフル加速
python
2.0以降のコンパイル機能（T4で効果絶大）
model = torch.compile(model, mode="reduce-overhead")
TensorFloat32(TF32) と TensorCore 活用
torch.set_float32_matmul_precision('high')
torch.backends.cuda.matmul.allow_tf32 = True
混合精度トレーニング
scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
outputs = model(inputs)
DataLoader にはさらに persistent_workers=True を追加するとエポック間の再生成が省けて高速。
3-3. JAX はそのままでOK
JAX はデフォルトでJIT + XLA。型を bfloat16 にするとさらにGPUスループット向上。
- GPU上のデータ処理（pandas/NumPyをGPU化）
4-1. RAPIDS (cuDF/cuML) の導入
無料T4で pandas を GPU高速化。大規模データの前処理が数十倍速くなる。
python
!pip install cudf-cu11 cuml-cu11
import cudf
df = cudf.read_csv('data.csv') # GPUで読み込み＆処理
メモリ制限あり（25GB以内）だが、工夫すれば強力。
4-2. CuPy でNumPy互換のままGPU加速
python
import cupy as cp
x = cp.random.rand(10000, 10000)
y = cp.dot(x, x.T) # 爆速
5. メモリ削減 → 大きなバッチサイズで高速化
5-1. 勾配チェックポインティング
PyTorch なら torch.utils.checkpoint、TensorFlow なら tf.recompute_grad を使い、
メモリ使用量を抑えてバッチサイズを倍増 → 同じ時間で2倍のデータ処理。
5-2. 混合精度 & 軽量 dtype
float32 → float16/bfloat16 にモデル・データを変換。T4のFP16性能は高いので効果絶大。
PyTorch の model.half()、TF の policy='mixed_float16' で自動キャスト。
5-3. 不要な変数の解放
python
import gc
del big_variable
gc.collect()
torch.cuda.empty_cache() # PyTorchの場合
これでスワップ地獄を回避。
- 非同期・並列処理の活用
6-1. CPUバウンドな前処理を並列化
python
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=2) as executor:
...
DataLoader の num_workers=2 も内部でマルチプロセス化。
6-2. ダウンロードと学習の並行実行
aiohttp で非同期ダウンロードしながら次のバッチを準備するなど、I/O待ちをゼロに。
- セッション切れ・再実行を最速化するテク
7-1. pipインストールはキャッシュを活用
毎回同じパッケージをダウンロードしないよう、/content/drive/MyDrive/pip_cache にキャッシュ指定。
python
!pip install --cache-dir /content/drive/MyDrive/pip_cache torch
7-2. 仮想環境をDriveに保存
Colab が切れても環境を復元。セットアップ時間を大幅短縮。
bash
!virtualenv /content/drive/MyDrive/colab_env
!source /content/drive/MyDrive/colab_env/bin/activate
7-3. 学習再開のための自動チェックポイント
ModelCheckpoint を /content/ に保存 → 終了前にDriveへコピーする仕組みを作っておく。
- 無料枠「裏技」まとめ（注意事項）
自動クリックでタイムアウト防止 は利用規約違反の可能性が高いので非推奨。
長時間学習は「90分ルール」や「アイドル切断」に引っかかるため、小分けに保存→再接続後に再開の設計が現実的です。
Colab Pro を使わずとも、Kaggle Notebook（無料GPUあり） と組み合わせてタスクを分散する手も検討を。
以上のテクニックを組み合わせれば、無料Colabでも「え、これ本当に無料？」という速度を叩き出せます★
特に T4 + 混合精度 + データキャッシュ + torch.compile / XLA の4点セットは効果が絶大なので、ぜひ試してみてください