下記のサイトを参考にしながら
http://qiita.com/asakasa/items/5fea615837191ab03cd8
brew install aalib
brew install libcaca
brew install mplayer --with-libcaca
でlibcacaと対応したmplayerをインストールします。
サイトでは
mplayer -vo aa videofile
mplayer -vo caca videofile
とすればAA動画が再生できると書いてあるのですが、僕はここで詰まりました。
画面が真っ暗になってしまったのです。
探してみたところ、
http://helpful.knobs-dials.com/index.php/Aalib,_caca
にあるコマンド
mplayer -monitorpixelaspect 0.5 -nosub -contrast 25 -framedrop -vo aa -quiet videofile 2>/dev/null
を試したところ動きました。
試した結果、-quietオプションを加えれば良かったみたいです。
mplayer -vo caca -quiet videofile とすれば無事動きました。
-quietオプションを調べてみると
-quiet
ターミナルへの無駄な出力を抑えて負荷を軽くする。ただし、MP3 再生時などの曲名表 示（ID3 タグ表示）は行われるが、現在の再生時間の表示等は行われなくなる。
とのことですので、コンソール上でのmplayer出力とlibcacaの映像出力(テキスト形式)が混ざって変になっていたのかもしれません。