まず
$\displaystyle \overrightarrow{\mathrm{PA}}\cdot\overrightarrow{\mathrm{PB}}=\frac{5}{4}$①
の式を何とかしよう。

図Ａより、
$\overrightarrow{\mathrm{PA}}=\vec{a}-\vec{p}$
$\overrightarrow{\mathrm{PB}}=\vec{b}-\vec{p}$
なので、①は
$(\displaystyle \vec{a}-\vec{p})\cdot(\vec{b}-\vec{p})=\frac{5}{4}$
$\displaystyle \vec{p}\cdot\vec{p}-\vec{a}\cdot\vec{p}-\vec{b}\cdot\vec{p}+\vec{a}\cdot\vec{b}=\frac{5}{4}$
$\overrightarrow{\mathrm{A}}\cdot\overrightarrow{\mathrm{A}}=\left|\overrightarrow{\mathrm{A}}\right|^{2}$なので、
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\vec{a}\cdot\vec{b}=\frac{5}{4}$式Ａ
とかける。

ここで、図Ａより、
$\vec{a}\cdot\vec{b}=\left|\vec{a}\right|\cdot\left|\vec{b}\right|\cdot\cos 60^{\circ}$
$\displaystyle \vec{a}\cdot\vec{b}$$\displaystyle =2\cdot 3\cdot\frac{1}{2}$
$\vec{a}\cdot\vec{b}$$=3$

解答ア：３

これを式Ａに代入して、
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+3=\frac{5}{4}$
$\displaystyle \left|\vec{p}\right|^{2}-(\vec{a}+\vec{b})\cdot\vec{p}+\frac{7}{4}=0$式Ａ'
となる。

解答イ：７, ウ：４

イウからエオは、あんまり見ない変形だけど、実はほかの単元でさんざんやってることだ。
式Ａ'を平方完成して、
$\displaystyle \left|\vec{p}\right|^{2}-2\cdot\frac{\vec{a}+\vec{b}}{2}\cdot\vec{p}+\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}$
       $-\displaystyle \left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}+\frac{7}{4}=0$
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}-\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}+\frac{7}{4}=0$
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}-\frac{7}{4}$式Ｂ

ここで、式Ｂの$\left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}$の部分を考えてみよう。
$\displaystyle \left|\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\frac{1}{4}\left(\left|\vec{a}\right|^{2}+2\vec{a}\cdot\vec{b}+\left|\vec{b}\right|^{2}\right)$
$\displaystyle \left|\vec{a}+\vec{b}\right|^{2}$$\displaystyle =\frac{1}{4}(2^{2}+2\cdot 3+3^{2})$
$\displaystyle \left|\vec{a}+\vec{b}\right|^{2}$$\displaystyle =\frac{19}{4}$
だから、式Ｂは
$\displaystyle \left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|^{2}=\frac{19}{4}-\frac{7}{4}$
$\left|\vec{p}-\vec{a}+\vec{b}\right|^{2}$$=3$
とかける。

これを、両辺平方根をとって、
$\left|\vec{p}-\frac{\vec{a}+\vec{b}}{2}\right|=\sqrt{3}$
と変形できる。

解答エ：２, オ：３

ここまでで分かったことを図Ａに書きたしたのが、図Ｂである。

図Ｂで、
$\overrightarrow{\mathrm{OC}}$⊥$\overrightarrow{\mathrm{MH}}$なので、
$\overrightarrow{\mathrm{OC}}\cdot\overrightarrow{\mathrm{MH}}=0$式Ｃ

解答カ：０

問題文の指示通り$\overrightarrow{\mathrm{OH}}=t\overrightarrow{\mathrm{OC}}$とおくと、
$\overrightarrow{\mathrm{MH}}=\overrightarrow{\mathrm{OH}}-\overrightarrow{\mathrm{OM}}$なので、
$\displaystyle \overrightarrow{\mathrm{MH}}=t\overrightarrow{\mathrm{OC}}-\frac{\vec{a}+\vec{b}}{2}$式Ｄ
これを式Ｃに代入して、
$\overrightarrow{\mathrm{OC}}\cdot\left(t\overrightarrow{\mathrm{OC}}-\frac{\vec{a}+\vec{b}}{2}\right)=0$
$t\displaystyle \left|\overrightarrow{\mathrm{OC}}\right|^{2}-\frac{\vec{a}\cdot\overrightarrow{\mathrm{OC}}+\vec{b}\cdot\overrightarrow{\mathrm{OC}}}{2}=0$式Ｅ

ここで、
$\vec{a}\cdot\overrightarrow{\mathrm{OC}}=\left|\vec{a}\right|\cdot\left|\overrightarrow{\mathrm{OC}}\right|\cdot\cos\angle 120^{\circ}$
$\vec{a}\cdot\overrightarrow{\mathrm{OC}}$$=2\cdot 1\cdot\left(-\frac{1}{2}\right)$
$\vec{a}\cdot\overrightarrow{\mathrm{OC}}$$=-1$
$\vec{b}\cdot\overrightarrow{\mathrm{OC}}=\left|\vec{b}\right|\cdot\left|\overrightarrow{\mathrm{OC}}\right|\cdot\cos\angle 60^{\circ}$
$\vec{b}\cdot\overrightarrow{\mathrm{OC}}$$=3\cdot 1\cdot\left(\frac{1}{2}\right)$
$\displaystyle \vec{b}\cdot\overrightarrow{\mathrm{OC}}$$\displaystyle =\frac{3}{2}$
なので、式Ｅは
$t-\displaystyle \frac{1}{2}\left(-1+\frac{3}{2}\right)=0$
とかける。

よって、
$t=\displaystyle \frac{1}{2}\left(-1+\frac{3}{2}\right)$
$t\displaystyle $$\displaystyle =\frac{1}{4}$
である。

解答キ：１, ク：４

次に$\left|\overrightarrow{\mathrm{MH}}\right|$を求める。
式Ｄに$t=\displaystyle \frac{1}{4}$を代入して、
$\displaystyle \overrightarrow{\mathrm{MH}}=\frac{1}{4}\overrightarrow{\mathrm{OC}}-\frac{\vec{a}+\vec{b}}{2}$
$\displaystyle \overrightarrow{\mathrm{MH}}$$\displaystyle =\frac{1}{4}(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b})$
となるので、
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|^{2}=\frac{1}{4^{2}}(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b})\cdot(\overrightarrow{\mathrm{OC}}-2\vec{a}-2\vec{b})$
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|^{2}$$\displaystyle =\frac{1}{4^{2}}\left(\left|\overrightarrow{\mathrm{OC}}\right|^{2}-4\vec{a}\cdot\overrightarrow{\mathrm{OC}}+4\left|\vec{a}\right|^{2}\right.$
                    $\left.+8\vec{a}\cdot\vec{b}+4\left|\vec{b}\right|^{2}-4\vec{b}\cdot\overrightarrow{\mathrm{OC}}\right)$
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|^{2}$$\displaystyle =\frac{1}{4^{2}}\left\{1^{2}-4\cdot(-1)+4\cdot 2^{2}\right.$
                    $+8\cdot 3+4\cdot 3^{2}-4\cdot\frac{3}{2}\}$
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|^{2}$$\displaystyle =\frac{75}{4^{2}}$
より、
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|=\frac{\sqrt{75}}{4}$
$\displaystyle \left|\overrightarrow{\mathrm{MH}}\right|$$\displaystyle =\frac{5\sqrt{3}}{4}$
である。

解答ケ：５, コ：３, サ：４