現状をチェック

show table status;

を打つと、Row_format=Compact になっていると思います。

show variables like "%innodb_file%";

これをうつと

innodb_file_format=Antelope

になっていると思います。

この状態で以下をやっても無駄です

my.cnf

innodb_file_format = Barracuda
innodb_file_format_max = Barracuda

などとしてあげる。

これで、alter table などで Row_format を変更することができるようになります。