ヒントはJava

その前にドル記号の文字列は必ずシングルクォーテーションで囲む

ダブルクォーテーションの場合変数と勘違いして展開するためです。
このへんはここを参照します。
about_Quoting_Rules (ver 7.3)

バッククォートではありません。
これも円記号（バックスラッシュ）になります。

$('$$eee$aaa$zzz') -split '\$'

または区切り文字をダブルクォーテーションで囲み

$('$$eee$aaa$zzz') -split "\$"

円ドルと記載するのでわけがわかりません。
まあドル記号は変数の印なので、パワーシェルで区切り文字に使うほうがおかしいのですが。
円記号が円でエスケープならドルはどうなるのか？ということで確認してみたところ判明しました。

How to express the dollar sign in string
英語ではExpressionというみたいですね。ドル記号はドルサイン。
意外とバッククォートでエスケープするのは限られています。そして機能があります。

`t # タブ記号