結論
Jenkinsをインストールしたフォルダにあるjenkins.xmlを編集して、起動オプションを追加します。
私自身の備忘のため記事にさせていただきます。
-Dhudson.model.DirectoryBrowserSupport.CSP=""
jenkins.xml（追記前）
<arguments>-Xrs -Xmx256m -Dhudson.lifecycle=hudson.lifecycle.WindowsServiceLifecycle -jar "%BASE%\jenkins.war" --httpPort=8080</arguments>
jenkins.xml（修正前）
<arguments>-Xrs -Xmx256m -Dhudson.lifecycle=hudson.lifecycle.WindowsServiceLifecycle -Dhudson.model.DirectoryBrowserSupport.CSP="" -jar "%BASE%\jenkins.war" --httpPort=8080</arguments>
具体的に
doxygenのHTMLでインデックスメニュー（上部タイトル下に表示されるメニュー）が表示されないのは、ブラウザ上でjavascriptが実行されていない？のが原因みたいでした。
以下の2つの記事を参考に、Jenkins上でjavascriptの実行が抑制されないよう起動オプションを設定するという方法にたどり着きました。
ちなみにこの方法でもJenkinsをhttp://localhot:8080/で実行しているとうまく表示されず、IPアドレスだと大丈夫でした。
私の理解が間違っているところもあると思いますのでご指摘等あればぜひお待ちしております。