ag で検索する時に， --csharp (とか --ruby )とかすれば特定のファイルだけで検索してくれるようになるので， Unity のコードを検索する際に prefab とか除外したければ， --csharp を使えば良いのですが(詳しくは ag --list-file-types 参照)
Unity で開発していると逆に prefab やら meta ファイルの中だけを検索したい場合があります．
prefab や meta はファイルタイプに用意されていないようなので，検索したければファイル指定無しで絞り込むか， find と組み合わせるしか無いかなーって思ってたんですが…次の書き方でいけました．(zsh の場合)
ag -G '.*\.meta' PATTERN
ag -G '.*\.prefab' PATTERN
あと，こういう検索したい時は大抵 guid を調べる時なので，
ag -G '.*\.prefab' PATTERN -B 10 -A 10
とかすると， PATTERN の前後も拾えるので，どの GameObject かあたりつけやすくなります．