まず
$\overrightarrow{\mathrm{PA}}\cdot\overrightarrow{\mathrm{PB}}=\dfrac{5}{4}$①
の式を何とかしよう。

図Ａより、
$\left\{\begin{array}{l} \overrightarrow{\mathrm{PA}}=\vec{a}-\vec{p}\\ \overrightarrow{\mathrm{PB}}=\vec{b}-\vec{p} \end{array}\right.$
なので、①は
$(\vec{a}-\vec{p})\cdot(\vec{b}-\vec{p})=\dfrac{5}{4}$
$\vec{p}\cdot\vec{p}-\vec{a}\cdot\vec{p}-\vec{b}\cdot\vec{p}+\vec{a}\cdot\vec{b}=\dfrac{5}{4}$
$\overrightarrow{\mathrm{A}}\cdot\overrightarrow{\mathrm{A}}=\left|\overrightarrow{\mathrm{A}}\right|^{2}$なので、
$\left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\vec{a}\cdot\vec{b}=\dfrac{5}{4}$式Ａ
とかける。

ここで、図Ａより、
$$ \begin{align} \vec{a}\cdot\vec{b}&=\left|\vec{a}\right|\cdot\left|\vec{b}\right|\cdot\cos 60^{\circ}\\ &=2\cdot 3\cdot\dfrac{1}{2}\\ &=3 \end{align} $$

解答ア：３

これを式Ａに代入すると、
$\left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+3=\dfrac{5}{4}$
$\left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\dfrac{7}{4}=0$式Ａ'
となる。

解答イ：７, ウ：４

イウからエオは、あんまり見ない変形だけど、実はほかの単元でさんざんやってることだ。

式Ａ'を平方完成して、
$\begin{aligned}\left|\vec{p}\right|^{2}-2\cdot\dfrac{\vec{a}+\vec{b}}{2}\cdot\vec{p}+&\left|\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}\\ &-\left|\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}+\dfrac{7}{4}=0\end{aligned}$
$\left|\vec{p}-\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}-\left|\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}+\dfrac{7}{4}=0$
$\left|\vec{p}-\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}=\AKA{\left|\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}}-\dfrac{7}{4}$式Ｂ

ここで、式Ｂの赤い部分を考えてみよう。
$$ \begin{align} \left|\dfrac{\vec{a}+\vec{b}}{2}\right|^{2}&=\dfrac{1}{4}\left(\left|\vec{a}\right|^{2}+2\vec{a}\cdot\vec{b}+\left|\vec{b}\right|^{2}\right)\\ &=\dfrac{1}{4}(2^{2}+2\cdot 3+3^{2})\\ &=\dfrac{19}{4} \end{align} $$ だから、式Ｂは
$$ \begin{align} \MIDORI{\left|\vec{p}-\dfrac{\vec{a}+\vec{b}}{2}\right|}^{2}&=\dfrac{19}{4}-\dfrac{7}{4}\\ &=3 \end{align} $$ とかける。

この式の緑の部分は正だから、両辺の平方根をとって
$\left|\vec{p}-\dfrac{\vec{a}+\vec{b}}{2}\right|=\sqrt{3}$
となる。

解答エ：２, オ：３

ここまでで分かったことを図Ａに書きたしたのが、図Ｂである。

図Ｂで、
$\overrightarrow{\mathrm{OC}} \perp \overrightarrow{\mathrm{MH}}$なので、
$\overrightarrow{\mathrm{OC}}\cdot\overrightarrow{\mathrm{MH}}=0$式Ｃ

解答カ：０

問題文の指示通り$\overrightarrow{\mathrm{OH}}=t\overrightarrow{\mathrm{OC}}$とおくと、
$\overrightarrow{\mathrm{MH}}=\overrightarrow{\mathrm{OH}}-\overrightarrow{\mathrm{OM}}$なので、
$\overrightarrow{\mathrm{MH}}=t\overrightarrow{\mathrm{OC}}-\dfrac{\vec{a}+\vec{b}}{2}$式Ｄ
これを式Ｃに代入して、
$\overrightarrow{\mathrm{OC}}\cdot\left(t\overrightarrow{\mathrm{OC}}-\dfrac{\vec{a}+\vec{b}}{2}\right)=0$
$t\left|\overrightarrow{\mathrm{OC}}\right|^{2}-\dfrac{\vec{a}\cdot\overrightarrow{\mathrm{OC}}+\vec{b}\cdot\overrightarrow{\mathrm{OC}}}{2}=0$式Ｅ

ここで、
$$ \begin{align} \vec{a}\cdot\overrightarrow{\mathrm{OC}}&=\left|\vec{a}\right|\cdot\left|\overrightarrow{\mathrm{OC}}\right|\cdot\cos\angle 120^{\circ}\\ &=2\cdot 1\cdot\left(-\dfrac{1}{2}\right)\\ &=-1 \end{align} $$ $$ \begin{align} \vec{b}\cdot\overrightarrow{\mathrm{OC}}&=\left|\vec{b}\right|\cdot\left|\overrightarrow{\mathrm{OC}}\right|\cdot\cos\angle 60^{\circ}\\ &=3\cdot 1\cdot\left(\dfrac{1}{2}\right)\\ &=\dfrac{3}{2} \end{align} $$ なので、式Ｅは
$t-\dfrac{1}{2}\left(-1+\dfrac{3}{2}\right)=0$
とかける。

よって、
$$ \begin{align} t&=\dfrac{1}{2}\left(-1+\dfrac{3}{2}\right)\\ &=\dfrac{1}{4} \end{align} $$ である。

解答キ：１, ク：４

次に$\left|\overrightarrow{\mathrm{MH}}\right|$を求める。
式Ｄに$t=\dfrac{1}{4}$を代入すると
$$ \begin{align} \overrightarrow{\mathrm{MH}}&=\dfrac{1}{4}\overrightarrow{\mathrm{OC}}-\dfrac{\vec{a}+\vec{b}}{2}\\ &=\dfrac{1}{4}(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b}) \end{align} $$ となるので、
$$ \begin{align} \left|\overrightarrow{\mathrm{MH}}\right|^{2}&=\dfrac{1}{4^{2}}(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b})\cdot(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b})\\ &=\dfrac{1}{4^{2}}\left(\begin{aligned}&\left|\overrightarrow{\mathrm{OC}}\right|^{2}-4\vec{a}\cdot\overrightarrow{\mathrm{OC}}+4\left|\vec{a}\right|^{2}\\&+8\vec{a}\cdot\vec{b}+4\left|\vec{b}\right|^{2}-4\vec{b}\cdot\overrightarrow{\mathrm{OC}}\end{aligned}\right)\\ &=\dfrac{1}{4^{2}}\left\{\begin{aligned}& 1^{2}-4\cdot(-1)+4\cdot 2^{2}\\&+8\cdot 3+4\cdot 3^{2}-4\cdot\dfrac{3}{2}\end{aligned}\right\}\\ &=\dfrac{75}{4^{2}} \end{align} $$ より、
$$ \begin{align} \left|\overrightarrow{\mathrm{MH}}\right|&=\dfrac{\sqrt{75}}{4}\\ &=\dfrac{5\sqrt{3}}{4} \end{align} $$ である。

解答ケ：５, コ：３, サ：４