まず、図を描く。
座標をとって描くと図Ａみたいなのができるけど、時間がかかるのでお勧めしない。

問題文を読むと、点$\mathrm{O}$，$\mathrm{A}$，$\mathrm{B}$，$\mathrm{C}$はすべて平面α上にある。
なので、図Ｂのような平面αだけの図を描こう。

点$\mathrm{C}$は点$\mathrm{O}$の右側ってことも考えられるけど、そうすると$\angle \mathrm{BOC}$は鈍角になる。
$\cos\angle \mathrm{BOC}$は負になるから、$\overrightarrow{\mathrm{OB}}\cdot\overrightarrow{\mathrm{OC}}$も負になる。
なので、これは不適だ。

それから、どうせ問題を解いてゆくと立体の図が必要になるんだろうけど、それはその時考えることにする。

$\overrightarrow{\mathrm{OA}}=(3,3,-6)$
より、
$$ \begin{align} \left|\overrightarrow{\mathrm{OA}}\right|&=\sqrt{3^{2}+3^{2}+(-6)^{2}}\\ &=\sqrt{3^{2}(1+1+2^{2})}\\ &=3\sqrt{6}\class{tex_formula}{式Ａ} \end{align} $$ である。

解答ア：３, イ：６

$\overrightarrow{\mathrm{OB}}=(2+2\sqrt{3},2-2\sqrt{3},-4)$
より、
$\left|\overrightarrow{\mathrm{OB}}\right|=\sqrt{(2+2\sqrt{3})^{2}+(2-2\sqrt{3})^{2}+(-4)^{2}}$

途中式

$$ \begin{align} \phantom{\left|\overrightarrow{\mathrm{OB}}\right|}&=\sqrt{2^{2}(1+\sqrt{3})^{2}+2^{2}(1-\sqrt{3})^{2}+4^{2}}\\ &=\sqrt{2^{2}(1+2\sqrt{3}+3+1-2\sqrt{3}+3+4)}\\ &=\sqrt{2^{2}\cdot 4\cdot 3} \end{align} $$

$\phantom{\left|\overrightarrow{\mathrm{OB}}\right|}=4\sqrt{3}$式Ｂ
である。

解答ウ：４, エ：３

また、$\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}$は、両方のベクトルの成分より、
$$ \begin{align} \overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}&=3(2+2\sqrt{3})\\ &\qquad +3(2-2\sqrt{3})+(-6)(-4) \end{align} $$

途中式

$$ \begin{align} \phantom{\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}}&=3\cdot2(1+\sqrt{3}+1-\sqrt{3}+4)\\ &=3\cdot 2 \cdot 6 \end{align} $$

$\phantom{\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}}=36$式Ｃ
となる。

解答オ：３, カ：６

$\overrightarrow{\mathrm{OC}}=s\overrightarrow{\mathrm{OA}}+t\overrightarrow{\mathrm{OB}}$式Ｄ
とおく。

①より$\overrightarrow{\mathrm{OA}}$⊥$\overrightarrow{\mathrm{OC}}$なので、
$\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OC}}=0$
とかける。

これに式Ｄを代入して、
$\overrightarrow{\mathrm{OA}}\cdot\left(s\overrightarrow{\mathrm{OA}}+t\overrightarrow{\mathrm{OB}}\right)=0$
より
$s\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OA}}+t\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}=0$
$s\left|\overrightarrow{\mathrm{OA}}\right|^{2}+t\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}=0$
となる。

これに式Ａ，式Ｃを代入して、
$\left(3\sqrt{6}\right)^{2}s+36t=0$
$9\cdot 6s+36t=0$
$3s+2t=0$式Ｅ
と表せる。

また、①の
$\overrightarrow{\mathrm{OB}}\cdot\overrightarrow{\mathrm{OC}}=24$
に式Ｄを代入して、
$\overrightarrow{\mathrm{OB}}\cdot\left(s\overrightarrow{\mathrm{OA}}+t\overrightarrow{\mathrm{OB}}\right)=24$
とかける。

これを計算して、
$s\overrightarrow{\mathrm{OB}}\cdot\overrightarrow{\mathrm{OA}}+t\overrightarrow{\mathrm{OB}}\cdot\overrightarrow{\mathrm{OB}}=24$
より
$s\overrightarrow{\mathrm{OA}}\cdot\overrightarrow{\mathrm{OB}}+t\left|\overrightarrow{\mathrm{OB}}\right|^{2}=24$
と表せる。

これに式Ｂ，式Ｃを代入して、
$36s+\left(4\sqrt{3}\right)^{2}t=24$
$36s+4^{2}\cdot 3t=24$
両辺を$12$で割って、
$3s+4t=2$式Ｆ
である。

この式Ｅ，式Ｆを連立方程式として解く。
式Ｆ-式Ｅより、

	$3s$	$+4t$	$=$	$2$
$-)$	$3s$	$+2t$	$=$	$0$
		$2t$	$=$	$2$

なので、
$t=1$
これを式Ｅに代入して、
$3s+2=0$
$s=-\displaystyle \frac{2}{3}$
となる。

解答キ：－, ク：２, ケ：３, コ：１

$s=-\displaystyle \frac{2}{3}$，$t=1$を式Ｄに代入して、
$\displaystyle \overrightarrow{\mathrm{OC}}=-\frac{2}{3}\overrightarrow{\mathrm{OA}}+\overrightarrow{\mathrm{OB}}$式Ｇ
より
$\displaystyle \overrightarrow{\mathrm{OC}}=-\frac{2}{3}(3,3,-6)+(2+2\sqrt{3},2-2\sqrt{3},-4)$
とかける。

これを計算して、
$$ \begin{align} \overrightarrow{\mathrm{OC}}&=(-2,-2,4)+(2+2\sqrt{3},2-2\sqrt{3},-4)\\ &=(2\sqrt{3},-2\sqrt{3},0)\class{tex_formula}{式Ｈ} \end{align} $$ である。

よって、$\left|\overrightarrow{\mathrm{OC}}\right|$は、
$$ \begin{align} \left|\overrightarrow{\mathrm{OC}}\right|&=\sqrt{(2\sqrt{3})^{2}+(-2\sqrt{3})^{2}+0^{2}}\\ &=\sqrt{(2\sqrt{3})^{2} \cdot 2}\\ &=2\sqrt{3}\cdot\sqrt{2}\\ &=2\sqrt{6} \end{align} $$ である。

解答サ：２, シ：６

$\overrightarrow{\mathrm{CB}}=\overrightarrow{\mathrm{OB}}-\overrightarrow{\mathrm{OC}}$
とかける。

これに式Ｇを代入して、
$\displaystyle \overrightarrow{\mathrm{CB}}=\overrightarrow{\mathrm{OB}}-\left(-\frac{2}{3}\overrightarrow{\mathrm{OA}}+\overrightarrow{\mathrm{OB}}\right)$
より
$\displaystyle \overrightarrow{\mathrm{CB}}=\overrightarrow{\mathrm{OB}}+\frac{2}{3}\overrightarrow{\mathrm{OA}}-\overrightarrow{\mathrm{OB}}$
$\displaystyle \overrightarrow{\mathrm{CB}}=\frac{2}{3}\overrightarrow{\mathrm{OA}}$式Ｉ
であることが分かる。

いま、
$\overrightarrow{\mathrm{OA}}=(3,3,-6)$
なので、式Ｉは
$\displaystyle \overrightarrow{\mathrm{CB}}=\frac{2}{3}(3,3,-6)$
とかける。
これを計算して、
$\overrightarrow{\mathrm{CB}}=(2,2,-4)$
である。

解答ス：２, セ：２, ソ：－, タ：４

ここで、ベクトルの平行について復習しておく。

復習

２つの$\vec{0}$でないベクトル$\vec{a}$，$\vec{b}$について、$k$を$0$でない実数として、
$\vec{a} \HEIKOU \vec{b}$ $\Leftrightarrow$ $\vec{a}=k\vec{b}$
である。

式Ｉより
$\displaystyle \overrightarrow{\mathrm{CB}}=\frac{2}{3}\overrightarrow{\mathrm{OA}}$
だった。

なので、復習より
$\overrightarrow{\mathrm{CB}} \HEIKOU \overrightarrow{\mathrm{OA}}$
であることが分かる。

また、
$\left|\overrightarrow{\mathrm{CB}}\right|\neq\left|\overrightarrow{\mathrm{OA}}\right|$
である。

よって、四角形$\mathrm{OABC}$について、
$\mathrm{OA} \HEIKOU \mathrm{CB}$
なので台形だけど、
$\mathrm{OA}\neq \mathrm{CB}$
なので平行四辺形ではない。

以上より、正しい選択肢は
③
である。

解答チ：３

それから、どうせ先で使うので、△$\mathrm{ABC}$（図Ｄの斜線の三角形）の面積も求めておこう。

$\mathrm{BC}$⊥$\mathrm{OC}$なので、$\mathrm{BC}$を底面とすると、△$\mathrm{ABC}$の高さは
$\mathrm{OC}=2\sqrt{6}$
である。

よって、△$\mathrm{ABC}$の面積は、
△$\displaystyle \mathrm{ABC}=\frac{1}{2}\times$底辺$\times$高さ
$$ \begin{align} \hspace{53px}&=\frac{1}{2} \cdot \mathrm{BC}\cdot \mathrm{OC}\\ &=\frac{1}{2}\cdot \frac{2}{3}\cdot 3\sqrt{6}\cdot 2\sqrt{6}\\ &=2\cdot \sqrt{6}\cdot \sqrt{6}\\ &=12\class{tex_formula}{式Ｊ} \end{align} $$ である。

やっぱり立体の問題になった。
なので、仕方がないから立体の図を描くと、図Ｅのようになる。

点$\mathrm{D}$の座標（$\overrightarrow{\mathrm{OD}}$の成分）を
$(x,y,1)$式Ｋ
とおく。

$\overrightarrow{\mathrm{OA}}$⊥$\overrightarrow{\mathrm{OD}}$なので、
$(3,3,-6)\cdot(x,y,1)=0$
より
$3x+3y-6=0$
$x+y=2$式Ｌ
となる。

また、$\overrightarrow{\mathrm{OC}}\cdot\overrightarrow{\mathrm{OD}}=2\sqrt{6}$に式Ｈと式Ｋを代入して、
$(2\sqrt{3},-2\sqrt{3},0)\cdot(x,y,1)=2\sqrt{6}$
より
$2\sqrt{3}x-2\sqrt{3}y=2\sqrt{6}$
$x-y=\sqrt{2}$式Ｍ
である。

この式Ｌ，式Ｍを連立方程式として解く。
式Ｌ$+$式Ｍより、

	$x$	$+y$	$=$	$2$
$+)$	$x$	$-y$	$=$	$\sqrt{2}$
	$2x$		$=$	$2+\sqrt{2}$

なので、
$$ \begin{align} x&=\frac{2+\sqrt{2}}{2}\\ &=1+\frac{\sqrt{2}}{2} \end{align} $$

となる。

また、式Ｌ-式Ｍより、

	$x$	$+y$	$=$	$2$
$-)$	$x$	$-y$	$=$	$\sqrt{2}$
		$2y$	$=$	$2-\sqrt{2}$

なので、
$$ \begin{align} y&=\frac{2-\sqrt{2}}{2}\\ &=1-\frac{\sqrt{2}}{2} \end{align} $$

である。

よって、点$\mathrm{D}$の座標（$\overrightarrow{\mathrm{OD}}$の成分）は
$\displaystyle \left(1+\frac{\sqrt{2}}{2},1-\frac{\sqrt{2}}{2},1\right)$
となる。

解答ト：１, ナ：２, ニ：２, ヌ：１, ネ：２, ノ：２

このとき、$\left|\overrightarrow{\mathrm{OD}}\right|$は、
$\left|\overrightarrow{\mathrm{OD}}\right|=\sqrt{\left(1+\dfrac{\sqrt{2}}{2}\right)^{2}+\left(1-\dfrac{\sqrt{2}}{2}\right)^{2}+1^{2}}$

途中式

$$ \begin{align} \phantom{\left|\overrightarrow{\mathrm{OD}}\right|}&=\sqrt{1+\sqrt{2}+\frac{2}{4}+1-\sqrt{2}+\frac{2}{4}+1}\\ &=\sqrt{4} \end{align} $$

$\phantom{\left|\overrightarrow{\mathrm{OD}}\right|}=2$式Ｎ
となる。

よって、$\overrightarrow{\mathrm{OC}}\cdot\overrightarrow{\mathrm{OD}}=2\sqrt{6}$は、$\angle \mathrm{COD}$（図Ｅのオレンジの角）を使って、
$\left|\overrightarrow{\mathrm{OC}}\right|\cdot\left|\overrightarrow{\mathrm{OD}}\right|\cos\angle \mathrm{COD}=2\sqrt{6}$
より
$2\sqrt{6}\cdot 2\cos\angle \mathrm{COD}=2\sqrt{6}$
$\displaystyle \cos\angle \mathrm{COD}=\frac{1}{2}$
であることが分かる。

いま、$0^{\circ} \lt \angle \mathrm{COD} \lt 180^{\circ}$なので、
$\angle \mathrm{COD}=60^{\circ}$
である。

解答ハ：６, ヒ：０

図Ｅのように、点$\mathrm{D}$から$\mathrm{OC}$に垂線をおろした垂線の足を点$\mathrm{H}$とする。
このとき、△$\mathrm{ODH}$（茶色い三角形）は、
式Ｎより、$\mathrm{OD}=2$ ハヒより、オレンジの角は$60^{\circ}$ なので、各辺が$1$，$2$，$\sqrt{3}$の直角三角形だ。

よって、
$\mathrm{DH}=\sqrt{3}$
である。

また、
$\overrightarrow{\mathrm{DH}}$⊥平面$\alpha$
だ。

詳しく

ここで、ベクトルと平面の垂直について復習をしておこう。

復習

$\vec{p}$，$\vec{q}$が平面$\alpha$上にある平行でなく$\vec{0}$でもないベクトルとして、
平面$\alpha$とベクトル$\vec{a}$が垂直
$\Updownarrow$
$\vec{a}$⊥$\vec{p}$ かつ $\vec{a}$⊥$\vec{q}$
である。

復習より、$\overrightarrow{\mathrm{OA}}$⊥$\overrightarrow{\mathrm{OC}}$ かつ $\overrightarrow{\mathrm{OA}}$⊥$\overrightarrow{\mathrm{OD}}$なので、$\overrightarrow{\mathrm{OA}}$と平面$\beta$は垂直。
よって、平面$\beta$上にある$\vec{0}$でないベクトルはすべて、$\overrightarrow{\mathrm{OA}}$と垂直である。

さらに、
$\overrightarrow{\mathrm{DH}}$⊥$\overrightarrow{\mathrm{OC}}$
で、$\overrightarrow{\mathrm{OC}}$は平面$\alpha$上のベクトルだ。

なので、$\overrightarrow{\mathrm{DH}}$は、平面$\alpha$上にある平行でも$\vec{0}$でもない２つのベクトルの$\overrightarrow{\mathrm{OA}}$および$\overrightarrow{\mathrm{OC}}$と垂直である。
よって、$\overrightarrow{\mathrm{DH}}$は平面$\alpha$と垂直である。

よって、△$\mathrm{ABC}$を底面とする四面体$\mathrm{DABC}$（図Ｅのピンクの四面体）の高さは$\mathrm{DH}$で、
$\sqrt{3}$
である。

解答フ：３

もうちょっとだ。

四面体の底面（図Ｅの斜線の三角形）の面積は、式Ｊより
$12$ フより、四面体の高さは
$\sqrt{3}$ なので、四面体の体積$V$は、
$ V=\displaystyle \frac{1}{3}\times$底面積$\times$高さ
より
$$ \begin{align} V&=\frac{1}{3}\cdot 12\cdot\sqrt{3}\\ &=4\sqrt{3} \end{align} $$ となる。

解答ヘ：４, ホ：３