API を叩いた時に RESTfm が返してくるフォーマット
現在の多くの Web API では、API にアクセスした際に返ってくるフォーマットに JSON を採用していると思います。昔からのサービスは XML が返ってくるところもあるでしょうか。
RESTfm では JSON や XML はもちろん、その他の様々なフォーマットで結果の返却が可能です。
許可するフォーマットは RESTfm.ini.php で設定する
様々な返却フォーマットを返すことができる RESTfm ですが、どのフォーマットを返すの返さないのかはRESTfm.ini.phpで設定します。formatsの配列のところです。
セキュリティやトラフィックのことを考慮しても、デフォルト状態である全部許可の設定でいいとは思います。もし特定のフォーマットを返したくない場合はコメントアウトしましょう。.htmlは Web API の本質からは本番環境ではコメントアウトしてもいいかもしれません。
フォーマットは URI の後ろに指定する
フォーマットを指定するためには、URI の後ろに拡張子として.jsonや.txt、.simpleとフォーマット名を付与しましょう。なお、フォーマットを指定しない場合は.htmlが選択されます。
具体例を見てみます。
http://hogehoge/RESTfm/ に RESTfm を配置した場合、http://hogehoge/RESTfm/Member という URI が、Member というデータベースにアクセスするための URI となります（最後のスラッシュは不要です）。
この場合、フォーマット（拡張子）が省略されていますので、URI は http://hogehoge/RESTfm/Member.html と等価です。試しにアクセスしてみてください。
そして.htmlの部分を他のフォーマット形式、例えば.jsonや.xmlに変えてみましょう。ちゃんとそのフォーマットで返り値が戻ってきたかと思います。
アプリケーションに応じて適切なフォーマットを選択する
冒頭にも書きましたが、現在の一般的な Webアプリケーション（フレームワーク）では JSON を用いれば便利なことが大半でしょう。ただし、FileMaker Pro / Go との連携を考慮した場合は fmpxml フォーマットは絶大な威力を発揮します。
デバッグの際には.simpleや.txtが役に立つかもしれません。
状況に応じて適切なフォーマットを選び、開発をしていきましょう。
公式ドキュメント
フォーマットの詳細な説明は公式ドキュメントもご覧ください。