随分昔に設定したものが更新されなくなっているのに気づき再設定。OSX ServerはGUI以外から設定したものはOSアップグレード時などになかったことにされがちなのでメモ。以下、独自ドメインがhogehoge.jpだと仮定。
OSX ServerのDNSサービスはbindで構成されていて、設定ファイルは

/Libraty/Server/named/

に集約されています。
まずはNSレコードを追加。これはGUI（Server.app）からできるでしょう。正常に追加されれば

/Libraty/Server/named/db.hogehoge.jp

に

                                      10800 IN NS       ns0.xname.org.
                                      10800 IN NS       ns1.xname.org.
                                      10800 IN NS       ns2.xname.org.
                                      10800 IN NS       ns1.hogehgoe.jp.

てな感じで追加されているでしょう（ns1.hogehoge.jpは既存NSレコード）。

続いてallow-transfer設定の追加。このアドレスからのアクセスをセカンダリDNSからの情報取得として認めるよ、って設定ですね。xname.orgのFAQには、

195.234.42.0/24 (from 195.234.42.1 to 195.234.42.254)
193.218.105.144/28 (from 193.218.105.145 to 193.218.105.158)
178.33.255.252
88.191.64.64
92.243.14.172

と書いてあり、一方、Create/Modify Zoneした後の説明書きには、

176.31.100.84;
195.234.42.1;
88.191.240.146;
178.33.255.252;

とあります。どっちが正しいのかよくわからないので、ANDをとって、

195.234.42.0/24;
193.218.105.144/28;
178.33.255.252;
176.31.100.84;
92.243.14.172;
88.191.240.146;
88.191.64.64;

としておきました。これを、

/Libraty/Server/named/named.conf

の以下のあたりのnone;の代わりに書き加えます。

view "internal" {
        zone "localhost" IN {
                type master;
                file "localhost.zone";
                allow-update {
                        none;
                };
        };
        zone "hogehoge.jp" IN {
                type master;
                file "db.hogehoge.jp";
                allow-transfer {
                        none;                <---消す
                         195.234.42.0/24;    <---追加
                         193.218.105.144/28; <---追加
                         178.33.255.252;     <---追加
                         176.31.100.84;      <---追加
                         92.243.14.172;      <---追加
                         88.191.240.146;     <---追加
                         88.191.64.64;       <---追加
                };

また必要かどうか定かではないですが、Server.appのDNS画面で「ルックアップを実行」を「一部のクライアントのみ」としている場合、「ルックアップクライアントを編集...」で「次のネットワーク上のクライアント」をチェックし、上記のIPを登録しておきます。いらないような気もします。

これでDNSサービスを再起動し、反映を待ちます。数時間かかることもあるようですが、Server.appのログを眺めていればアクセスがあったことが確認できます。
ただそれでもxname.org上のView Zone -> Zone Contentでは表示されず終い。ターミナルで、

dig @ns0.xname.org hogehgoe.jp

などとするときちんと動作してるようなので良しとしました。

あとはドメイン管理会社の管理ページ上で、ns0/ns1/ns2.xname.orgをDNSサーバーとして追加しておくのをお忘れ無く。

xname.orgはお知らせなどの日付からするとあまり活発には更新されてないようですが、末永く存続してほしいものです。この機会に寄付をしておこうと思います。