たぶん正解

Promiseに対する評価ということで、rejectsを経由して評価する。

await expect(longLongTimeAsyncFunction(AbortSingal.timeout(100)))
  .rejects.toMatchObject({name: 'TimeoutError'})

もしくは、messageの方で引っ掛けてこんな感じかな。

await expect(longLongTimeAsyncFunction(AbortSingal.timeout(100)))
  .rejects.toThrowError(/timeout/);

安直な方法

何も考えずに、こんな風にassert.fail()と組み合わせた方がわかりやすいと思ってしまう。

＃assert.fail()忘れてしまったりするのですが

try {
  await longLongTimeAsyncFunction(AbortSingal.timeout(100)));
  assert.fail();
} catch(e) {
  expect(e.name).toBe('TimeoutError');
}

await longLongTimeAsyncFunction(AbortSingal.timeout(100)))
  .then(() => assert.fail())
  .catch((e) => expect(e.name).toBe('TimeoutError'))