なんとなく脳トレがてら1日1問解説しようと思っただけです．飽きたらやめます．

問題

微分方程式，

\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{px+qy+r} \right),

は，連立方程式，

\begin{align*} 
\left\{
    \begin{aligned}
    & ax+by+c = 0, \\
    & px+qy+r = 0,
    \end{aligned}
\right.
\end{align*}

の2解 $x=\alpha, y=\beta$ を用いて，$x=X+\alpha, y=Y+\beta$ と変換することで，以下の同次形になることを示せ．ただし，$aq-bp\neq 0$ とする．

\dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{aX+bY}{pX+qY} \right).

ポイント

変換方法は与えてくれているので，素直に変形していけば自ずと証明が完了します．
証明の方針は次のとおりです
- 連立方程式の解を求めて，$\alpha, \beta$ を具体的に表す．
- $x=X+\alpha, y=Y+\beta$ を右辺に代入する．
- 左辺の $\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現する．
- 出来上がった微分方程式が，同次形であることを示す．

解説

上記の方針通り進めていきます．

STEP1 連立方程式の解を求めて，α, β を具体的に表す．

まずは，

\begin{align*} 
\left\{
    \begin{aligned}
    & ax+by+c = 0, \\
    & px+qy+r = 0,
    \end{aligned}
\right.
\end{align*}

を解きましょう．
いろいろな解き方がありますが，ここでは，簡単に2元連立1次方程式を解くための，クラメルの公式を用います（クラメルの公式がわからない方は，代入法や加減法を用いても同じ解が得られるのでご安心ください．以下の内容はスクロールしてしまい，この項の最終的な答えだけ確認してみてください）．

クラメルの公式を使うために，連立方程式を少し変形して，

\begin{align*} 
\left\{
    \begin{aligned}
    & ax+by = -c, \\
    & px+qy = -r,
    \end{aligned}
\right.
\end{align*}

を得ます．これを行列で表記すると，次のようになります．

\begin{pmatrix} 
    a & b \\ 
    p & q 
\end{pmatrix} 
\begin{pmatrix} 
    x \\ 
    y 
\end{pmatrix} 
    = 
\begin{pmatrix} 
    -c \\ 
    -r 
\end{pmatrix}

また，問題文より $aq-bp\neq 0$ と言われているので，クラメルの公式が適用可能です．クラメルの公式より，連立方程式の解 $x=\alpha, y=\beta$ は，

\begin{eqnarray} 
    x=\alpha &=& 
    \frac{\begin{vmatrix} 
        -c & b \\ 
        -r & q 
          \end{vmatrix}}
    {\begin{vmatrix} 
        a & b \\ 
        p & q 
    \end{vmatrix}} 
    = \frac{-cq+br}{aq-bp},\\  
    & & \\
    y=\beta &=& 
    \frac{\begin{vmatrix} 
        a & -c \\ 
        p & -r 
    \end{vmatrix}}
    {\begin{vmatrix} 
        a & b \\ 
        p & q 
    \end{vmatrix}}
    =\frac{-ar+cp}{aq-bp}, 
\end{eqnarray}

と求めることが出来ました．

行列積の求め方については，ヨビノリさんの講義などをご参照ください．

クラメルの公式については，うさぎ塾さんの解説がわかりやすいです〜

STEP2 x=X+α, y=Y+β を右辺に代入する．

STEP1で求めた $\alpha = \cdots, \beta=\cdots$ を先に代入してから変形したくなりますが，計算ミス削減のために，ギリギリまで $\alpha$ と $\beta$ は残しておきましょう．

与えられた微分方程式の右辺に，$x=X+\alpha, y=Y+\beta$ を代入して変形を行うと，次のようになります．

\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{a(X+\alpha)+b(Y+\beta)+c}{p(X+\alpha)+q(Y+\beta)+r} \right),\\
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{aX+bY+a\alpha+b\beta+c}{pX+qY+p\alpha+q\beta+r} \right),\\

\end{align*}

ここまで変形して，シメとして $\alpha$ および $\beta$ に対して，STEP1 で求めた結果を代入するのが，計算ミスをへらすコツです．
ややメタ的な解説にはなりますが，結局のところ，右辺は $f\left(\dfrac{Y}{X}\right)$ の形になってくれる必要があるので，定数項部分は0になって欲しいです．そんな願望を持ちながら定数項部分の計算を行うと，次のようになります．

\begin{align*}
a\alpha+b\beta+c
&=a\times\frac{-cq+br}{aq-bp}+b\times \frac{-ar+cp}{aq-bp}+c ,\\
&=\frac{a\times(-cq+br)}{aq-bp}+\frac{b\times(-ar+cp)}{aq-bp}+\frac{c\times(aq-bp)}{aq-bp} ,\\
&=\frac{(-acq+abr)+(-abr+bcp)+(acq-bcp)}{aq-bp}  ,\\
&=0.

\end{align*}

\begin{align*}
p\alpha+q\beta+r
&=p\times\frac{-cq+br}{aq-bp}+q\times \frac{-ar+cp}{aq-bp}+r ,\\
&=\frac{p\times(-cq+br)}{aq-bp}+\frac{q\times(-ar+cp)}{aq-bp}+\frac{r\times(aq-bp)}{aq-bp} ,\\
&=\frac{(-cpq+bpr)+(-aqr+cpq)+(aqr-bpr)}{aq-bp}  ,\\
&=0.

\end{align*}

やりましたね！定数項は無事 0 とわかりました．したがって，与えられた微分方程式は，

\begin{align*}
\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{aX+bY}{pX+qY} \right),\\
\end{align*}

と書き換えることが出来ます．ただし，このままでは同次形というのに不十分です．
現状得られた式では，左辺は $x$ と $y$ の関係式ですが，右辺は $X$ と $Y$ の関係式になっています．
STEP3では，左辺も $X$ と $Y$ で表現することを考えます．

STEP3 左辺の dy/dx を dY/dX で表現する．

地味に難関ポイントです．
$x=X+\alpha, y=Y+\beta$ という関係をヒントに， $\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現するにはどうしたら良いでしょうか．

現状わかっている情報は次の2つです．

$x$ と $X$ の関係 $x = X+\alpha$
$y$ と $Y$ の関係 $y = Y+\beta$

つまり，これから行いたいのは，上記2つの手札を用いて，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ を，$\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ で表現することです．

これを達成するためには，連鎖律を使用します．
連鎖率については，以下のサイトなどをご参照ください．

連鎖律より，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ と $\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ の関係は次のように書くことが出来ます．

\begin{align*}

\dfrac{\mathrm{d}y}{\mathrm{d}x}=
\dfrac{\mathrm{d}y}{\mathrm{d}Y}\times
\dfrac{\mathrm{d}Y}{\mathrm{d}X}\times
\dfrac{\mathrm{d}X}{\mathrm{d}x}.

\end{align*}

さて，$\dfrac{\mathrm{d}y}{\mathrm{d}Y}$ と $\dfrac{\mathrm{d}X}{\mathrm{d}x}$ は邪魔オマケなので，具体的に求めましょう．$y=Y+\beta, X=x-\alpha$ に注意して，

\begin{align*}

\dfrac{\mathrm{d}y}{\mathrm{d}Y}=\dfrac{\mathrm{d}(Y+\beta)}{\mathrm{d}Y} = 1,\\
\dfrac{\mathrm{d}X}{\mathrm{d}x}=\dfrac{\mathrm{d}(x-\alpha)}{\mathrm{d}x} = 1,\\
\end{align*}

と簡単に求まります．よって，$\dfrac{\mathrm{d}y}{\mathrm{d}x}$ と $\dfrac{\mathrm{d}Y}{\mathrm{d}X}$ の関係は以下の式で記述されます．

\begin{align*}

\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=
1\times\dfrac{\mathrm{d}Y}{\mathrm{d}X}\times 1 =\dfrac{\mathrm{d}Y}{\mathrm{d}X}.
\end{align*}

これで，与えられた微分方程式の左辺を，$X$ と $Y$ を用いて置き換える準備ができました．

STEP4 出来上がった微分方程式が，同次形であることを示す．

STEP2, STEP3 より，与えられた微分方程式は，

\begin{align*}
\dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{aX+bY}{pX+qY} \right),\\
\end{align*}

と書き換えることが出来ます．右辺括弧( ) 内の分母・分子を $X$ で割ることで，

\begin{align*}
\therefore \dfrac{\mathrm{d}Y}{\mathrm{d}X}=f\left( \dfrac{a+b\dfrac{Y}{X}}{p+q\dfrac{Y}{X}} \right),\\
\end{align*}

と変形できます．これは，紛れもなく同次形です．（証明完）．
ということは，$u=\dfrac{Y}{X}$ と置換することで，最終的に変数分離形に帰着させることが出来ます．

【参考】 aq-bp =0 のとき

今回は$aq-bp\neq 0$ を仮定していたので，$aq-bp=0$については考えていませんでした．
結論から言うと，$aq-bp=0$ の場合でも，変数分離形に帰着させることが出来ます．
以下に，その証明を簡単に記述します．

$aq-bp=0$ ですから， $aq=bp$ です．ちょっとメタ的な操作ではありますが， $\dfrac{p}{a}=\dfrac{q}{b}$ と変形して，その値を適当に $m$ とおきます．つまり， $p=am$, $q=bm$ です．これをはじめの微分方程式に代入すると，

\begin{align*}
\dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{amx+bmy+r} \right),\\
\therefore \dfrac{\mathrm{d}y}{\mathrm{d}x}=f\left( \dfrac{ax+by+c}{m(ax+by)+r} \right),
\end{align*}

と変形できます．ここで，$u=ax+by$ と変数変換を行うと，右辺は

f\left( \dfrac{ax+by+c}{m(ax+by)+r} \right)= f\left( \dfrac{u+c}{mu+r} \right)

とかけます．
これに対して左辺は，$u=ax+by$ すなわち $y=-\dfrac{a}{b}x-\dfrac{1}{b}u$ に注意して，次のように変換が出来ます．

\dfrac{\mathrm{d}y}{\mathrm{d}x}=\dfrac{a}{b}-\dfrac{1}{b}\times\dfrac{\mathrm{d}u}{\mathrm{d}x}.

よって，与えられた微分方程式は，

\begin{align*}
\dfrac{a}{b}-\dfrac{1}{b}\times\dfrac{\mathrm{d}u}{\mathrm{d}x}=f\left( \dfrac{u+c}{mu+r} \right),
\end{align*}

と書き換えることが出来ます．最終的に，これを整理して，

\begin{align*}
a-\times\dfrac{\mathrm{d}u}{\mathrm{d}x}&=bf\left( \dfrac{u+c}{mu+r} \right),\\
-\dfrac{\mathrm{d}u}{\mathrm{d}x}&=-a+bf\left( \dfrac{u+c}{mu+r} \right),\\
\therefore \dfrac{\mathrm{d}u}{\mathrm{d}x}&=a-bf\left( \dfrac{u+c}{mu+r} \right),\\
\end{align*}

という変数分離形を得ます．
パッと見，「本当に変数分離形？」と疑いたくなりますね．この式は右辺に $x$ が登場していないことから，「本来 $Q(u)P(x)$ と変数分離するうちの $P(x)$ が1なんだ」と思えば納得できるかもしれません．

【参考2】さらに参考ですが・・・

【参考1】において，例えば $p=0$ だったらどうするんだ！というご指摘があるかもしれません．
ですが，仮に $p=0$ とするならば， $aq-bp=0$ を満たすのは $a$ または $q$ が 0 のときだけです．
$a=0$ ならば，与えられた微分方程式の右辺に $x$ の項が存在しないことになるので変数分離形が出来上がりです．
$q=0$ ならば，与えられた微分方程式の右辺が，$(ax+by+c)/r$ の関数になるので，適当に変数変換してあげることで変数分離形になります．