似た名称なので、整理するためにまとめます。
CPU
Central Processing Unitの略。よく、パソコンの頭脳と呼ばれます。
主な役割はプログラムを実行したり、数値計算などです。CPUの性能が高いと、プログラムや演算を早く行うことができるため、快適にPCを操作できるようになります（ただし、CPUだけ性能が高いとボトルネックが発生し、十分に性能を発揮できません）。
GPU
Graphics Processing Unitの略。主な役割はグラフィックスのレンダリングや並列計算などです。要するに映像や行列演算に関する処理をしています。GPUの性能が高いと、ゲームをするときに、動作が軽くなったり、動画編集を快適におこなうことができます。また、機械学習では行列演算を行うため、機械学習の分野でも活躍します。
TPU
Tensor Processing Unitの略。Googleが設計した機械学習（主にニューラルネットワーク）に特化したものです。
主な役割は、行列演算です。GPUでも、行列演算は可能ですが大規模な行列演算を行うときはTPUのほうが高速に処理できるそうです。
まとめ
CPU→PCの頭脳で、プログラムの実行や全体的な制御をしている。
GPU→映像、ゲーム、機械学習の分野で活躍。
TPU→機械学習に特化していて、大規模な行列演算ではGPUより優秀。
これらは、略称が似ていますが、役割が全く違います。