なんとなく脳トレがてら1日1問解説しようと思っただけです．飽きたらやめます．
問題
微分方程式，
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{px+qy+r} \right),
は，連立方程式，
\begin{align*}
\left\{
\begin{aligned}
& ax+by+c = 0, \\
& px+qy+r = 0,
\end{aligned}
\right.
\end{align*}
の2解 $x=\alpha, y=\beta$ を用いて，$x=X+\alpha, y=Y+\beta$ と変換することで，以下の同次形になることを示せ．ただし，$aq-bp\neq 0$ とする．
\dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{aX+bY}{pX+qY} \right).
ポイント
- 変換方法は与えてくれているので，素直に変形していけば自ずと証明が完了します．
- 証明の方針は次のとおりです
- 連立方程式の解を求めて，$\alpha, \beta$ を具体的に表す．
- $x=X+\alpha, y=Y+\beta$ を右辺に代入する．
- 左辺の $\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現する．
- 出来上がった微分方程式が，同次形であることを示す．
解説
上記の方針通り進めていきます．
STEP1 連立方程式の解を求めて，α, β を具体的に表す．
まずは，
\begin{align*}
\left\{
\begin{aligned}
& ax+by+c = 0, \\
& px+qy+r = 0,
\end{aligned}
\right.
\end{align*}
を解きましょう．
いろいろな解き方がありますが，ここでは，簡単に2元連立1次方程式を解くための，クラメルの公式を用います（クラメルの公式がわからない方は，代入法や加減法を用いても同じ解が得られるのでご安心ください．以下の内容はスクロールしてしまい，この項の最終的な答えだけ確認してみてください）．
クラメルの公式を使うために，連立方程式を少し変形して，
\begin{align*}
\left\{
\begin{aligned}
& ax+by = -c, \\
& px+qy = -r,
\end{aligned}
\right.
\end{align*}
を得ます．これを行列で表記すると，次のようになります．
\begin{pmatrix}
a & b \\
p & q
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
=
\begin{pmatrix}
-c \\
-r
\end{pmatrix}
また，問題文より $aq-bp\neq 0$ と言われているので，クラメルの公式が適用可能です．クラメルの公式より，連立方程式の解 $x=\alpha, y=\beta$ は，
\begin{eqnarray}
x=\alpha &=&
\frac{\begin{vmatrix}
-c & b \\
-r & q
\end{vmatrix}}
{\begin{vmatrix}
a & b \\
p & q
\end{vmatrix}}
= \frac{-cq+br}{aq-bp},\\
& & \\
y=\beta &=&
\frac{\begin{vmatrix}
a & -c \\
p & -r
\end{vmatrix}}
{\begin{vmatrix}
a & b \\
p & q
\end{vmatrix}}
=\frac{-ar+cp}{aq-bp},
\end{eqnarray}
と求めることが出来ました．
行列積の求め方については，ヨビノリさんの講義などをご参照ください．
クラメルの公式については，うさぎ塾さんの解説がわかりやすいです〜
STEP2 x=X+α, y=Y+β を右辺に代入する．
STEP1で求めた $\alpha = \cdots, \beta=\cdots$ を先に代入してから変形したくなりますが，計算ミス削減のために，ギリギリまで $\alpha$ と $\beta$ は残しておきましょう．
与えられた微分方程式の右辺に，$x=X+\alpha, y=Y+\beta$ を代入して変形を行うと，次のようになります．
\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{a(X+\alpha)+b(Y+\beta)+c}{p(X+\alpha)+q(Y+\beta)+r} \right),\\
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{aX+bY+a\alpha+b\beta+c}{pX+qY+p\alpha+q\beta+r} \right),\\
\end{align*}
ここまで変形して，シメとして $\alpha$ および $\beta$ に対して，STEP1 で求めた結果を代入するのが，計算ミスをへらすコツです．
ややメタ的な解説にはなりますが，結局のところ，右辺は $f\left(\dfrac{Y}{X}\right)$ の形になってくれる必要があるので，定数項部分は0になって欲しいです．そんな願望を持ちながら定数項部分の計算を行うと，次のようになります．
\begin{align*}
a\alpha+b\beta+c
&=a\times\frac{-cq+br}{aq-bp}+b\times \frac{-ar+cp}{aq-bp}+c ,\\
&=\frac{a\times(-cq+br)}{aq-bp}+\frac{b\times(-ar+cp)}{aq-bp}+\frac{c\times(aq-bp)}{aq-bp} ,\\
&=\frac{(-acq+abr)+(-abr+bcp)+(acq-bcp)}{aq-bp} ,\\
&=0.
\end{align*}
\begin{align*}
p\alpha+q\beta+r
&=p\times\frac{-cq+br}{aq-bp}+q\times \frac{-ar+cp}{aq-bp}+r ,\\
&=\frac{p\times(-cq+br)}{aq-bp}+\frac{q\times(-ar+cp)}{aq-bp}+\frac{r\times(aq-bp)}{aq-bp} ,\\
&=\frac{(-cpq+bpr)+(-aqr+cpq)+(aqr-bpr)}{aq-bp} ,\\
&=0.
\end{align*}
やりましたね！定数項は無事 0 とわかりました．したがって，与えられた微分方程式は，
\begin{align*}
\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{aX+bY}{pX+qY} \right),\\
\end{align*}
と書き換えることが出来ます．ただし，このままでは同次形というのに不十分です．
現状得られた式では，左辺は $x$ と $y$ の関係式ですが， 右辺は $X$ と $Y$ の関係式になっています．
STEP3では，左辺も $X$ と $Y$ で表現することを考えます．
STEP3 左辺の dy/dx を dY/dX で表現する．
地味に難関ポイントです．
$x=X+\alpha, y=Y+\beta$ という関係をヒントに， $\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現するにはどうしたら良いでしょうか．
現状わかっている情報は次の2つです．
- $x$ と $X$ の関係 $x = X+\alpha$
- $y$ と $Y$ の関係 $y = Y+\beta$
つまり，これから行いたいのは，上記2つの手札を用いて，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現することです．
これを達成するためには，連鎖律を使用します．
連鎖率については，以下のサイトなどをご参照ください．
連鎖律より，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ と $\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ の関係は次のように書くことが出来ます．
\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}x}=
\dfrac{\mathrm{d}y}{\mathrm{d}Y}\times
\dfrac{\mathrm{d}Y}{\mathrm{d}X}\times
\dfrac{\mathrm{d}X}{\mathrm{d}x}.
\end{align*}
さて，$\dfrac{\mathrm{d}y}{\mathrm{d}Y}$ と $\dfrac{\mathrm{d}X}{\mathrm{d}x}$ は 邪魔 オマケなので，具体的に求めましょう．$y=Y+\beta, X=x-\alpha$ に注意して，
\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}Y}=\dfrac{\mathrm{d}(Y+\beta)}{\mathrm{d}Y} = 1,\\
\dfrac{\mathrm{d}X}{\mathrm{d}x}=\dfrac{\mathrm{d}(x-\alpha)}{\mathrm{d}x} = 1,\\
\end{align*}
と簡単に求まります．よって，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ と $\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ の関係は以下の式で記述されます．
\begin{align*}
\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=
1\times\dfrac{\mathrm{d}Y}{\mathrm{d}X}\times 1 =\dfrac{\mathrm{d}Y}{\mathrm{d}X}.
\end{align*}
これで，与えられた微分方程式の左辺を，$X$ と $Y$ を用いて置き換える準備ができました．
STEP4 出来上がった微分方程式が，同次形であることを示す．
STEP2, STEP3 より，与えられた微分方程式は，
\begin{align*}
\dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{aX+bY}{pX+qY} \right),\\
\end{align*}
と書き換えることが出来ます．右辺括弧( ) 内の分母・分子を $X$ で割ることで，
\begin{align*}
\therefore \dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{a+b\dfrac{Y}{X}}{p+q\dfrac{Y}{X}} \right),\\
\end{align*}
と変形できます．これは，紛れもなく同次形です．（証明完）．
ということは，$u=\dfrac{Y}{X}$ と置換することで，最終的に変数分離形に帰着させることが出来ます．
【参考】 aq-bp =0 のとき
今回は$aq-bp\neq 0$ を仮定していたので，$aq-bp=0$については考えていませんでした．
結論から言うと，$aq-bp=0$ の場合でも，変数分離形に帰着させることが出来ます．
以下に，その証明を簡単に記述します．
$aq-bp=0$ ですから， $aq=bp$ です．ちょっとメタ的な操作ではありますが， $\dfrac{p}{a}=\dfrac{q}{b}$ と変形して，その値を適当に $m$ とおきます．つまり， $p=am$, $q=bm$ です．これをはじめの微分方程式に代入すると，
\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{amx+bmy+r} \right),\\
\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{m(ax+by)+r} \right),
\end{align*}
と変形できます．ここで，$u=ax+by$ と変数変換を行うと，右辺は
f\left( \dfrac{ax+by+c}{m(ax+by)+r} \right)= f\left( \dfrac{u+c}{mu+r} \right)
とかけます．
これに対して左辺は，$u=ax+by$ すなわち $y=-\dfrac{a}{b}x-\dfrac{1}{b}u$ に注意して，次のように変換が出来ます．
\dfrac{\mathrm{d}y}{\mathrm{d}x}=\dfrac{a}{b}-\dfrac{1}{b}\times\dfrac{\mathrm{d}u}{\mathrm{d}x}.
よって，与えられた微分方程式は，
\begin{align*}
\dfrac{a}{b}-\dfrac{1}{b}\times\dfrac{\mathrm{d}u}{\mathrm{d}x}=f\left( \dfrac{u+c}{mu+r} \right),
\end{align*}
と書き換えることが出来ます．最終的に，これを整理して，
\begin{align*}
a-\times\dfrac{\mathrm{d}u}{\mathrm{d}x}&=bf\left( \dfrac{u+c}{mu+r} \right),\\
-\dfrac{\mathrm{d}u}{\mathrm{d}x}&=-a+bf\left( \dfrac{u+c}{mu+r} \right),\\
\therefore \dfrac{\mathrm{d}u}{\mathrm{d}x}&=a-bf\left( \dfrac{u+c}{mu+r} \right),\\
\end{align*}
という変数分離形を得ます．
パッと見，「本当に変数分離形？」と疑いたくなりますね．この式は右辺に $x$ が登場していないことから， 「本来 $Q(u)P(x)$ と変数分離するうちの $P(x)$ が1なんだ」と思えば納得できるかもしれません．
【参考2】 さらに参考ですが・・・
【参考1】 において， 例えば $p=0$ だったらどうするんだ！というご指摘があるかもしれません．
ですが，仮に $p=0$ とするならば， $aq-bp=0$ を満たすのは $a$ または $q$ が 0 のときだけです．
$a=0$ ならば，与えられた微分方程式の右辺に $x$ の項が存在しないことになるので変数分離形が出来上がりです．
$q=0$ ならば，与えられた微分方程式の右辺が，$(ax+by+c)/r$ の関数になるので，適当に変数変換してあげることで変数分離形になります．