この問題では、基準になるベクトルが$\overrightarrow{\mathrm{OP}}=\vec{p}$と$\overrightarrow{\mathrm{OQ}}=\vec{q}$なので、原点は点$\mathrm{O}$。
$\overrightarrow{\mathrm{ML}}$は始点が原点じゃないベクトルなので、終点へのベクトル$-$始点へのベクトルより、
$$ \begin{align} \overrightarrow{\mathrm{ML}}&=\overrightarrow{\mathrm{OL}}-\overrightarrow{\mathrm{OM}}\\ &=\dfrac{2}{3}\overrightarrow{\mathrm{OP}}-a\overrightarrow{\mathrm{OQ}}\\ &=\dfrac{2}{3}\vec{p}-a\vec{q}\class{tex_formula}{式Ａ} \end{align} $$ である。

解答ア：２, イ：３, ウ：ａ

別解

$\overrightarrow{\mathrm{ML}}$は始点も終点も基準になるベクトルの上にあるので、単純に点$\mathrm{M}$→点$\mathrm{O}$→点$\mathrm{L}$と移動すると考えて作ると、
$$ \begin{align} \overrightarrow{\mathrm{ML}}&=\overrightarrow{\mathrm{MO}}+\overrightarrow{\mathrm{OL}}\\ &=-\overrightarrow{\mathrm{OM}}+\overrightarrow{\mathrm{OL}}\\ &=-a\overrightarrow{\mathrm{OQ}}+\dfrac{2}{3}\overrightarrow{\mathrm{OP}}\\ &=-a\vec{q}+\dfrac{2}{3}\vec{p}\\ &=\dfrac{2}{3}\vec{p}-a\vec{q}\class{tex_formula}{式Ａ} \end{align} $$ である。

解答ア：２, イ：３, ウ：ａ

上の$\overrightarrow{\mathrm{ML}}$の式の両辺の絶対値をとって２乗すると、
$\left|\overrightarrow{\mathrm{ML}}\right|^{2}=\left|\dfrac{2}{3}\vec{p}-a\vec{q}\right|^{2}$
$\left|\vec{a}\right|^{2}=\vec{a}\cdot\vec{a}$なので、
$$ \begin{align} \left|\overrightarrow{\mathrm{ML}}\right|^{2}&=\left(\dfrac{2}{3}\vec{p}-a\vec{q}\right)\cdot\left(\dfrac{2}{3}\vec{p}-a\vec{q}\right)\\ &=\dfrac{2^{2}}{3^{3}}\left|\vec{p}\right|^{2}-2\cdot\dfrac{2}{3}a\vec{p}\cdot\vec{q}+a^{2}\left|\vec{q}\right|^{2} \end{align} $$ ここで、$\left|\vec{p}\right|=1$，$\left|\vec{q}\right|=2$，$\angle \mathrm{POQ}=90^{\circ}$より$\vec{p}\cdot\vec{q}=0$だから、
$$ \begin{align} \left|\overrightarrow{\mathrm{ML}}\right|^{2}&=\dfrac{2^{2}}{3^{3}}\cdot 1^{2}+a^{2}\cdot 2^{2}\\ &=\dfrac{2^{2}}{3^{3}}\cdot(1^{2}+3^{2}a^{2})\\ &=\dfrac{2^{2}}{3^{3}}\cdot(1+9a^{2}) \end{align} $$ $0 \lt \left|\overrightarrow{\mathrm{ML}}\right|$より、
$\left|\overrightarrow{\mathrm{ML}}\right|=\dfrac{2}{3}\sqrt{1+9a^{2}}$式Ｂ
である。

解答エ：２, オ：３, カ：９

$$ \begin{align} \overrightarrow{\mathrm{MN}}&=\overrightarrow{\mathrm{ON}}-\overrightarrow{\mathrm{OM}}\\ &=\{(1-b)\overrightarrow{\mathrm{OP}}+b\overrightarrow{\mathrm{OQ}}\}-a\overrightarrow{\mathrm{OQ}}\\ &=(1-b)\vec{p}+b\vec{q}-a\vec{q}\\ &=(1-b)\vec{p}+(b-a)\vec{q}\class{tex_formula}{式Ｃ} \end{align} $$ である。

解答キ：ｂ, ク：ｂ, ケ：ａ

$\mathrm{ML} \perp \mathrm{MN}$なので、
$\overrightarrow{\mathrm{ML}}\cdot\overrightarrow{\mathrm{MN}}=0$式D
である。

解答コ：０

次は$b$だけど、問題文に
「$\overrightarrow{\mathrm{ML}}\cdot\overrightarrow{\mathrm{MN}}=$コであるから」
とあるので、きっと内積から計算するのだろうと想像がつく。

式Ａ，式Ｃから$\overrightarrow{\mathrm{ML}}$と$\overrightarrow{\mathrm{MN}}$の内積を求めると、
$$ \begin{align} \overrightarrow{\mathrm{ML}}\cdot\overrightarrow{\mathrm{MN}}&=\left(\dfrac{2}{3}\vec{p}-a\vec{q}\right)\\ &\hspace{40px}\cdot\{(1-b)\vec{p}+(b-a)\vec{q}\}\\ &=\dfrac{2}{3}(1-b)\left|\vec{p}\right|^{2}\\ &\hspace{36px}+\left\{\dfrac{2}{3}(b-a)-a(1-b)\right\}\vec{p}\cdot\vec{q}\\ &\hspace{70px}-a(b-a)\left|\vec{q}\right|^{2} \end{align} $$ ここで、$\left|\vec{p}\right|=1$，$\left|\vec{q}\right|=2$，$\vec{p}\cdot\vec{q}=0$だから、
$$ \begin{align} \overrightarrow{\mathrm{ML}}\cdot\overrightarrow{\mathrm{MN}}&=\dfrac{2}{3}(1-b)\cdot 1^{2}-a(b-a)\cdot 2^{2}\\ &=\dfrac{2}{3}(1-b)-4a(b-a) \end{align} $$

これに式Ｄを代入して、
$\dfrac{2}{3}(1-b)-4a(b-a)=0$

途中式

$(1-b)-6a(b-a)=0$
$1-b-6ab+6a^{2}=0$
$b+6ab=1+6a^{2}$
$(1+6a)b=1+6a^{2}$

$b=\dfrac{1+6a^{2}}{1+6a}$式Ｅ
である。

解答サ：６, シ：１, ス：６

次は$\left|\overrightarrow{\mathrm{MN}}\right|$だけど、$\left|\overrightarrow{\mathrm{ML}}\right|$を求めたときと同じことをしよう。
式Ｃの両辺の絶対値をとって２乗すると、
$\left|\overrightarrow{\mathrm{MN}}\right|^{2}=\left|(1-b)\vec{p}+(b-a)\vec{q}\right|^{2}$
$\left|\vec{a}\right|^{2}=\vec{a}\cdot\vec{a}$なので、
$$ \begin{align} \left|\overrightarrow{\mathrm{MN}}\right|^{2}&=\left\{(1-b)\vec{p}+(b-a)\vec{q}\right\}\\ &\hspace{100px}\cdot\left\{(1-b)\vec{p}+(b-a)\vec{q}\right\}\\ &=(1-b)^{2}\left|\vec{p}\right|^{2}+2(1-b)(b-a)\vec{p}\cdot\vec{q}\\ &\hspace{100px}+(b-a)^{2}\left|\vec{q}\right|^{2} \end{align} $$ ここで、$\left|\vec{p}\right|=1$，$\left|\vec{q}\right|=2$，$\vec{p}\cdot\vec{q}=0$だから、
$\left|\overrightarrow{\mathrm{MN}}\right|^{2}=(1-b)^{2}+4(b-a)^{2}$
これに式Ｅを代入して、
$\begin{aligned}\left|\overrightarrow{\mathrm{MN}}\right|^{2}&=\left(1-\dfrac{1+6a^{2}}{1+6a}\right)^{2}\\&\hspace{50px}+4\left(\dfrac{1+6a^{2}}{1+6a}-a\right)^{2}\end{aligned}$

途中式

$$ \begin{align} \phantom{\left|\overrightarrow{\mathrm{MN}}\right|^{2}}&=\left(\dfrac{1+6a}{1+6a}-\dfrac{1+6a^{2}}{1+6a}\right)^{2}\\ &\hspace{50px}+4\left(\dfrac{1+6a^{2}}{1+6a}-\dfrac{a(1+6a)}{1+6a}\right)^{2}\\ &=\left(\dfrac{1+6a-1-6a^{2}}{1+6a}\right)^{2}\\ &\hspace{50px}+4\left(\dfrac{1+6a^{2}-a-6a^{2}}{1+6a}\right)^{2}\\ &=\left(\dfrac{6a-6a^{2}}{1+6a}\right)^{2}+4\left(\dfrac{1-a}{1+6a}\right)^{2}\\ &=\left(\dfrac{6a(1-a)}{1+6a}\right)^{2}+4\left(\dfrac{1-a}{1+6a}\right)^{2}\\ &=(6a)^{2}\left(\dfrac{1-a}{1+6a}\right)^{2}+4\left(\dfrac{1-a}{1+6a}\right)^{2}\\ &=\left(\dfrac{1-a}{1+6a}\right)^{2}\{(6a)^{2}+4\}\\ &=\left(\dfrac{1-a}{1+6a}\right)^{2}2^{2}\{(3a)^{2}+1\} \end{align} $$

$\phantom{\left|\overrightarrow{\mathrm{MN}}\right|^{2}}=2^{2}\left(\dfrac{1-a}{1+6a}\right)^{2}(9a^{2}+1)$
$0 \lt \left|\overrightarrow{\mathrm{MN}}\right|$より、
$$ \begin{align} \left|\overrightarrow{\mathrm{MN}}\right|&=2\cdot\dfrac{1-a}{1+6a}\sqrt{9a^{2}+1}\\ &=\dfrac{2(1-a)}{1+6a}\sqrt{1+9a^{2}}\class{tex_formula}{式Ｆ} \end{align} $$ となる。

解答セ：２, ソ：１, タ：９

$\triangle \mathrm{LMN} \SOUJI \triangle \mathrm{QOP}$なので、
$\mathrm{ML}:\mathrm{MN}=\mathrm{OQ}:\mathrm{OP}$
問題より、$\mathrm{OP}=1$，$\mathrm{OQ}=2$なので、
$\mathrm{ML}:\mathrm{MN}=2:1$
$\mathrm{ML}=2\mathrm{MN}$
となるから、
$\left|\overrightarrow{\mathrm{ML}}\right|=2\left|\overrightarrow{\mathrm{MN}}\right|$
である。

解答チ：２

これに式Ｂ，式Ｆを代入して、
$\dfrac{2}{3}\sqrt{1+9a^{2}}=2\cdot\dfrac{2(1-a)}{1+6a}\sqrt{1+9a^{2}}$
ここで、$\sqrt{1+9a^{2}}\neq 0$なので、両辺を$\sqrt{1+9a^{2}}$で割って、
$\dfrac{2}{3}=2\cdot\dfrac{2(1-a)}{1+6a}$
$\dfrac{1}{3}=\dfrac{2(1-a)}{1+6a}$

$\dfrac{A}{B}=\dfrac{C}{D}$のとき、$AD=BC$なので、
$1+6a=3\cdot 2(1-a)$
$1+6a=6-6a$
$12a=5$
$a=\dfrac{5}{12}$
となる。

解答ツ：５, テ：１, ト：２

これを式Ｅに代入して、
$$ \begin{align} b&=\dfrac{1+6\left(\cfrac{5}{12}\right)^{2}}{1+6\cdot\cfrac{5}{12}}\\ &=\dfrac{1+\cfrac{5^{2}}{2\cdot 12}}{1+\cfrac{6\cdot 5}{12}} \end{align} $$ 分母分子に$2\cdot 12$をかけて、
$b=\dfrac{2\cdot 12+5^{2}}{2\cdot 12+2\cdot 6\cdot 5}$

途中式

$$ \begin{align} \phantom{b}&=\dfrac{24+25}{24+60}\\ &=\dfrac{49}{84} \end{align} $$

$\phantom{b}=\dfrac{7}{12}$
である。

解答ナ：７, ニ：１, ヌ：２

ここまでの内容を図Ｂにまとめた。
図Ｂでは、分かりやすいように$\mathrm{R}$は$\mathrm{LN}$の内分点としてあるが、$s \lt 0$または$1 \lt s$のときは外分点になる。

点$\mathrm{R}$は$\mathrm{LN}$を$s:1-s$に内分または外分するので、
$$ \begin{align} \overrightarrow{\mathrm{OR}}&=(1-s)\overrightarrow{\mathrm{OL}}+s\overrightarrow{\mathrm{ON}}\\ &=(1-s)\dfrac{2}{3}\overrightarrow{\mathrm{OP}}+s\cdot\dfrac{5\overrightarrow{\mathrm{OP}}+7\overrightarrow{\mathrm{OQ}}}{7+5}\\ &=(1-s)\dfrac{8}{12}\vec{p}+s\cdot\dfrac{5\vec{p}+7\vec{q}}{12} \end{align} $$

途中式

$$ \begin{align} \phantom{\overrightarrow{\mathrm{OR}}}&=\dfrac{1}{12}\{8(1-s)\vec{p}+5s\vec{p}+7s\vec{q}\}\\ &=\dfrac{1}{12}\{(8-8s+5s)\vec{p}+7s\vec{q}\}\\ &=\dfrac{1}{12}\{(8-3s)\vec{p}+7s\vec{q}\}\\ &=\left(\dfrac{8}{12}-\dfrac{3}{12}s\right)\vec{p}+\dfrac{7}{12}s\vec{q} \end{align} $$

$\phantom{\overrightarrow{\mathrm{OR}}}=\left(\dfrac{2}{3}-\dfrac{s}{4}\right)\vec{p}+\dfrac{7}{12}s\vec{q}$式Ｇ
となる。

解答ネ：２, ノ：３, ハ：４

ここからは、よく見る交点の位置ベクトルの問題。
ひとつのベクトルを２通りに表して、連立方程式に持ち込むアレだ。

$\mathrm{R}$が$\mathrm{OQ}$上にあるとき、$t$を実数として、
$$ \begin{align} \overrightarrow{\mathrm{OR}}&=t\overrightarrow{\mathrm{OQ}}\\ &=t\vec{q} \end{align} $$ とかける。

これが式Ｇと等しくなるので、
$\left(\dfrac{2}{3}-\dfrac{s}{4}\right)\vec{p}+\dfrac{7}{12}s\vec{q}=t\vec{q}$
と表せるから、
$\left\{\begin{array}{l}
\dfrac{2}{3}-\dfrac{s}{4}=0\\
\dfrac{7}{12}s=t
\end{array}\right.$
である。

今は$t$は必要ないので、上の式だけ解くと、
$\dfrac{2}{3}=\dfrac{s}{4}$
$3s=8$
$s=\dfrac{8}{3}$
となる。

解答ヒ：８, フ：３