こちらでも同様に実験を行ってみました．上の問題ももちろん再現いたしました．
そのうえで，原因の考察を次に示します．

runzou_suzukiさんは考察に当たって，y_predしか見ていないようだったので，他に得られる情報は無いかとRidgeCVのドキュメントを当たってみました．

今回の議論で役立ちそうなパラメータは特にalpha_とintercept_ですかね．ついでに傾きcoef_も出力させます．

実際に次のコードを追加して確認してみました．

  y_pred = model.predict(X_valid)
+ print('alpha:', model.alpha_)
+ print('coef:', model.coef_)
+ print('intercept:', model.intercept_)

出てきた値はそれぞれ，

alpha: 10.0
coef: [[0.00092048]]
interecept: [11.31181638]

でした．結果として，α値はnp.logspace(-10, 1, n_lambda)で生成した最高値の10が使われていることがわかりました．これは，最高値を使うほどこのモデルがより大きい値を渇望していることがわかります．もっと大きい値を扱えるように変更できるのではないかという改善案が思いつきますね．

次に切片(intercept)です．線形回帰をやる中で，タクシーの問題を解くなら特に，初乗り価格というものがあると思いますので必要な項目だと考えます．fit_intercept = Falseにすると${\rm adisntance} = 0[{\rm km}]$の地点における初乗り価格が0であるということになってしまいます．この対策は悪手だと考えます．実際，今回のモデルではintercept = 11.31という，runzou_suzukiさんの言う「平均的な値」の出力と同様のものが得られていますので切片を必要としていることが分かります．2つ目に示していただいた結果では，切片をなくすように変更したものなので，ほとんど0が出力されています．

また，最初にデータの分布を示していただいたように，データの多くはこの切片の値周辺に固まっているのはわかっているはずです．

次のコードを追加して予測の分布と正しい分布を比較してみました．

plt.scatter(X_valid, y_pred, label = 'predict')
plt.scatter(X_valid, y_valid, label = 'correct')
plt.legend()
plt.grid()

見づらいのでadistance < 2000のみ表示させました．

cutoff = X_valid < 2000
plt.scatter(X_valid[cutoff], y_pred[cutoff], label = 'predict')
plt.scatter(X_valid[cutoff], y_valid[cutoff], label = 'correct')

データ自体は$20[{\rm km}]$周辺までは距離に比例しているようになっているものの，このモデルは長距離のサンプルに引きつられてあまり傾きのないグラフとなってしまったことがわかります．

実際，出てきた傾きはcoef = 0.00092048です．ほとんど同じ値しか出さないモデルができました．

結論・改善案

このようなデータに対して単回帰分析をやったときに，よく見る当たり前の結果が得られただけのことです．プログラムやモデルは正常な動作をしていますし，RidgeCVではこれ以上どうすることもできないタスクを与えられている状態です．

機械学習はモデルの選定よりも先にデータの整形に時間をかけるべきです．その一手として緯度経度情報を直線距離情報に変換したのは非常に良いことだと思いますが，まだ求めるべき特徴量があるということです．

まずやるべきことは，料金が負の値であったりなど，あり得ない値の扱いを決めることだと思います．実際，Discussionには負の料金についての議論もあります．距離が数千$[{\rm km}]$を超えるものは料金に見合っていない移動なのでこれも異常値ですね．

Discussionを一通り見て良いなと思ったのは，Google Map APIを使って実際の発着地点の意味を見出そうとするものです．実際異常値として海中座標があるようです．地図と比較しないとわからないデータもあります．また，初乗り料金や特別料金，市外料金などのまとめが書いてあるのも良いですね．

したがって，Discussionでよく取り組まれているような特徴量エンジニアリングを頑張る．というのがrunzou_suzukiさんのやることです．学習モデルがどうこうでハイパーパラメータの調整がどうのっていうのはまだ先のように思えます．ひとまず，DiscussionにあったQuick look into NYC: starter kernelを真似てみるのも良さそうですね．GeoPyなんて使わずに地球表面上での距離を求めているのは勉強になる上，他にも空港の特別料金に対応するための座標加工だけにとどまらず時間データも整形しており，正規化も取り入れております．

こちらでそのstarterを実行してみたところ，当時の提出人数約1500人中429位となるスコア${\rm RMSE}=3.19044$を達成することができました．starterで使われているRandomForest+GridSearchをRidgeCVに置き換えたら1364位となるスコア${\rm RMSE}=6.72935$になったので，重回帰分析の線形分離不可能である欠点やデータに多重共線性があってしまったなどの問題が生じたのだと考えられます．データの整形をある程度頑張ってもモデルの限界にブチ当たってしまうこともあるということです．こうなってはじめてモデル選定やハイパーパラメータチューニングの議論が始まるのです．

単純なデータを用いて

このモデルは長距離のサンプルに引きつられてあまり傾きのないグラフとなってしまった

という件と，

このようなデータに対して単回帰分析をやったときに，よく見る当たり前の結果が得られた

と言った件について再現しておきます．

次のコードで実現させます．

$0\leq x<20$の範囲で$y = x + \epsilon$，$\epsilon\sim\mathcal{N}\left(0, 1\right)$として，$100\leq x<110$の範囲で$y=10$としました．

import numpy as np
from sklearn.linear_model import RidgeCV
from matplotlib import pyplot as plt

x = np.linspace(0, 20, 100)
y = np.linspace(0, 20, 100) + np.random.normal(0, 1, 100)

x = np.append(x, np.linspace(100, 110, 10)).reshape(-1 , 1)
y = np.append(y, np.array([10] * 10)).reshape(-1, 1)

n_lambda = 50
ridge_lambdas = np.logspace(-10, 1, n_lambda)

model = RidgeCV(cv = 10, alphas = ridge_lambdas, fit_intercept = True)
model.fit(x, y)

x_pred = np.linspace(0, 110, 100).reshape(-1, 1)
y_pred = model.predict(x_pred)

plt.scatter(x, y, label = "correct")
plt.scatter(x_pred, y_pred, marker = "x", label = "predict")
plt.grid()
plt.legend()
plt.show()

得られたグラフは

です．Kaggleのタクシーデータセットには数千キロを超える範囲もあったので，それも再現するとより傾きの小さいグラフが得られることでしょう．

結論，$0\leq x<20$の範囲で予測がうまくいかないのはこれら外れ値を含む教師データの問題です．