文章だけだと難しいので、図を描くと以下のようになります。
$∠BAQ=∠BPA$となるので、$△BAQ∽△BPA$であることがわかります。
以下の方針で解いていきます。
$1.$ $x$を求める ($x=BP$とします)
三角形の相似比を使います。
$2.$ $cosθ$を求める ($θ=∠B$とします)
余弦定理を使います。
$3.$ $AC$を求める
$tanθ$を使います。
$4.$ 面積の$2$乗を求める
底辺$×$高さ$×\frac{1}{2}$です。
$1.$ $x$を求める
$BP:BA=BA:BQ$となるので、
$x:6=6:x+5$
$x(x+5)=36$
$x^2+5x-36=0$
$(x+9)(x-4)=0$
$B,P,Q,C$の順に並ぶことから$x>0$なので、$x=4$。
$2.$ $cosθ$を求める
$AB,BP,PA,cosθ$を使って、余弦定理の式を作ります。
$AB^2+BP^2-2・AB・BPcosθ=AP^2$
$AB=6,AP=5,BP=4$を代入し、$cosθ$を求めます。
$6^2+4^2-2・6・4cosθ=5^2$
$48cosθ=27$
$cosθ=\frac{9}{16}$
$3.$ $AC$を求める
$AC=ABtanθ$
$=AB\frac{sinθ}{cosθ}$
$=AB\frac{\sqrt{1-cos^2θ}}{cosθ}$
$AB=6,cosθ=\frac{9}{16}$を代入します。
$AC=6×\frac{\sqrt{1-(9/16)^2}}{9/16}$
分母、分子にそれぞれ$16$をかけます。
$AC=6×\frac{\sqrt{16^2-9^2}}{9}$
$=\frac{2\sqrt{175}}{3}$
$=\frac{10\sqrt{7}}{3}$
$4.$ 面積の$2$乗を求める
直角三角形なので、面積は$AB×AC×\frac{1}{2}$です。
$AB=6,AC=\frac{10\sqrt{7}}{3}$を代入して、
$(6×\frac{10\sqrt{7}}{3}×\frac{1}{2})^2$
$=(10\sqrt{7})^2$
$=700$