1つのカテゴリーを指定

https://example.com/wp-json/wp/v2/posts?categories=1

categories=の後にカテゴリーIDの数字を入力する

複数のカテゴリーを指定

https://example.com/wp-json/wp/v2/posts?categories=1+3+5

categories=の後に+を挟んでカテゴリーIDの数字を好きなだけ入力する

その他のWordPress REST APIの細かいカスタマイズ方法については以下の記事が参考になります。