OpenShiftをプライベートネットワーク上に立てる時にひっかかったこと

プライベートネットワーク

はい。閉域ネットワークです。
一応プロキシ通せば外には出られます。
社内DNSあり環境です。

OpenShiftを使用する時は普通はopenshift_master_default_subdomainとか設定してhttps://<app_name>-<project_name>.<openshift_master_default_subdomain>てな感じでアクセスできるようにすると思います。
んで社内でのみ使用する場合は社内DNSに登録すると思います。

この時、社内DNSを見に行かないとopenshift_master_default_subdomainがDNS解決できず、アクセスで問題が発生する場合があります。具体的な話をするとopenshift-web-consoleのconfig-mapにてhttpsでURLを指定する部分があるのです。loggingとメトリクスとかの話です。httpで指定するとはじかれて通らないのでサービスのURLだとアクセスできないのです。

なのでクラスタ内部からはopenshift_master_default_subdomainを解決できるようにしておく必要があります。めんどい

サービスエンドポイントのホスト名はどこで解決する？

OpenShiftは内部的にDNSをもっています。
結論から言うと各ノードがDNS解決する仕組み(skydns)になっています。
ですので各VMから最初にローカルDNS（localhost:53）を見に行き、解決できなかったら社内DNSへforwardする仕組みにします。

OpenShiftをプライベートでないネットワークで構築した場合

この場合、DNS解決の第一段階として/etc/resolv.confのnameserver項目の値を見に行きます。OpenShiftを構築した場合、各VMのNodeのIPになります。各Nodeにはdnsmasqという簡易DNSがインストールされます。ここからさらにxxx.svc.cluster.localというサブドメインを持つホスト名のみ、127.0.0.1へforwardされます。
するとNode内部のDNSから該当サービスのIPが返される仕組みになっています。
んでDNS解決対象外のドメインへのアクセスは多分デフォルトのDNSへforwardされる仕組みになってるのかな。

プライベートネットワークでアクセスしたい場合どういう設定になるの？

とりあえず各VMにてxxx.svc.cluster.localがアクセスできる状態になっていればOKです。
dnsmasqの設定にserver=/cluster.local/127.0.0.1とかそんな雰囲気の設定があるのでここでコンテナ内からxxx.svcへアクセスされると、dnsmasqがxxx.svc.cluster.localへのアクセスと解釈し、アクセスできるようになります。
さらに/etc/dnsmasq.confのresolv-fileに設定されたupstream設定に上位DNSへのアクセス設定を書いておけば完成です。つまり社内DNSを記載するということです。
NetworkManagerの領分っぽい。
インターフェースのNM_CONTROLLEDをyesにしておくとopenshift3.11だとNetworkManager再起動時に自動設定してくれた。Ansibleのプレイブック実行時も自動で再起動するっぽいのであまりきにしなくてもよいかも。元々resolv.confに記載されている社内DNSはserver=/<社内DNS_IP>/みたいな設定でupstreamに設定されるようになっていた。ちなみにAzureの場合、PEERDNS=noにしないとVMに入っているエージェントがかってにAzureのDNSへ書き換えてしまうので注意。
とりあえず、Ansible実行前に各Nodeのresolv.confに社内DNSを設定しておけばOKっぽい。

全体感

サービス名前解決。
ドメインを見て社内DNSにはいかずにOpenShiftのNodeにあるDNSを見る。

ルート名前解決。
ドメインを見てOpenShiftのNodeにあるDNSにはいかずに社内DNSを見る。

インストーラによる設定

OpenShiftをインストールするときはansible使ってやるかと思います。
んで案の定openshift_dns_ipという設定があります。
ありますがなんか夏場に設定した時に上手く動かなかったのでこの辺手動で設定してます。
※うろ覚えだけどなんか違ったのかも。

インストーラのバグ

バグ情報あった。
Bug 1586368 - openshift_dns_ip does not take effect

3.9では動くって書いてある。設定するとこ間違えたのかな。

Router機能解説

理解するのに結構時間かかったので簡単な構造と解説を書いておく。

そもそもDNSって何？

とっても簡単に言うとこのドメインの実態はどこですか？って問い合わせるとIPとか返してくれるサービスです。
Aレコードを登録しておけばIPv4のIPを返してくれます。
AAAAレコードを登録しておけばIPv6のIPを返してくれます。
CNAMEレコードを登録しておけばドメインのエイリアスを返してくれます。
エイリアスとは別名ですね。
設定次第で見つからなかったら上位のDNSに行きます。
OpenShiftでRouterとか設定する場合はRouterポッドが動作しているサーバーに対してアクセス元からアクセスさせなければならないので最低限上記の知識は必要です。
ただし、まずい設定をすると他のDNSに負荷をかけてしまったりすることがあるのでわからなかったらインフラの人に協力してもらいましょう。

細かいRouterの解説

OpenShiftではRouterという仕組みがあり、これの実態はha-proxyというミドルウェアをリバースプロキシとして機能させ、一つの仕組みでOpenShift上で動くすべてのサービスを一元的に割り振りしちゃおうという機能です。
こうすることでサービスの公開というインフラ色の強い作業をセルフサービス化することができます。

OpenShiftって総合的にやってることをまとめるとインフラレイヤーを抽象化して知識がなくともOpenShift利用者が勝手にやれるようにした製品なんですね。
セルフサービス化を促進するのでインフラとアプリの垣根で時間がかかっている組織さんとかでは非常に導入効果が見込めるのではないでしょうか。