前提

t値、χ^2（カイ二乗）値、回帰分析、ロジスティック回帰分析は、全部「データから結論を出す道具」ですが、いちばん大事なのは “最終的に知りたい答えの形” です。
ここを間違えると、手法を選んでもモヤモヤしやすいです。

概要（まず結論）

ポイント：
「比べたい」のか「予測したい」のか、そして答えが「数値」か「カテゴリ」かで分ける。

t値は一言でいうと、複数のデータ群の間で平均の差がハッキリしてるかを点数みたいに表したものです。

↓の例ではAとBの平均の差は同じですが、ばらつきが小さい方がAとBに有意な差が生まれているといえそうですよね？

補足：
t値は t検定だけでなく、回帰分析でも「この説明が本当に効いてそう？」を見るために出ることがあります。
その場合も考え方は似ていて「効果が偶然っぽくないか」をチェックします。

χ^2値は一言でいうと、「カテゴリごとの偏りがどれくらい大きいか」 の点数です。
「関係がありそう？」を確かめるのが得意です。

注意：
χ^2値、t値は「関係があるか」を見るのが得意ですが、
「どれくらい増えるか」を予測する道具ではありません（予測したいなら回帰へ）。

注意：
χ^2値、t値を算出した上で、どのくらいなら有意とするかは、有意水準を使って考えますが、その水準をどの程度にするかは、状況に合わせて決めることになります。

回帰分析（線形回帰）は一言でいうと、「いくつになりそう？」を当てにいく 道具です。
答え（目的）が数値のときに使います。

↓の図では、計測した点（data）からの距離の和が最小になる直線を引くことで、説明変数から目的変数の値を推測する式を求めることができます。

ロジスティック回帰は一言でいうと、「起きる確率」を出して Yes/No （またはカテゴリ）を予測する 道具です。

覚え方：
「比べる」なら t か χ^2、
「予測する」なら 回帰。
そして予測の答えが「数値」なら線形回帰、「分類」ならロジスティック回帰。