fdk-aacとmpg123のライブラリを使ってaacファイルを再生するプログラムを作ってみました。System233さんのさんのfdk-aacのサンプルコードをベースにしています。引数が1つの時はファイルで3つの時はhttpです。
ADTSなaacは再生できますがM4Aなaacは再生できません。
% file *
jazzspot.aac: MPEG ADTS, AAC, v4 LC, 48 kHz, stereo
jazzspot.m4a: ISO Media, Apple iTunes ALAC/AAC-LC (.M4A) Audio
M4AなaacはRAWでデコードする必要があるようなのですが、パラメータがファイルの最後にあり、ファイルをすべて読み込まないと再生できないのかもしれません。