Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

Ta có : \(\left(C_1\right)\) và \(\left(C_2\right)\) tiếp xúc nhau <=> hệ phương trình sau có nghiệm :

    \(\begin{cases}mx^3+\left(1-2m\right)x^2+2mx=3mx^3+3\left(1-2m\right)x+4m-2\\3mx^2+2\left(1-2m\right)x+2m=9mx^2+3\left(1-2m\right)\end{cases}\)

\(\Leftrightarrow\begin{cases}2mx^3-\left(1-2m\right)x^2+\left(3-8m\right)x+4m-2=0\left(1\right)\\6mx^2-2\left(1-2m\right)x+3-8m=0\left(2\right)\end{cases}\)

Ta có : \(\left(1\right)\Leftrightarrow\left(x-1\right)\left(2mx^2-\left(1-4m\right)x+4m+2\right)=0\)

                \(\Leftrightarrow\left[\begin{array}{nghiempt}x=1\\2mx^2-\left(1-4m\right)x-4m+2=0\end{array}\right.\)

* Với \(x=1\) thay vào (2), ta có \(m=\frac{1}{2}\)

* Với \(2mx^2-\left(1-4m\right)x-4m+2=0\) (*) ta có :

\(\left(2\right)\Leftrightarrow4mx^2-x+1-4m=0\Leftrightarrow\left[\begin{array}{nghiempt}x=1\\x=\frac{1-4m}{4m}\end{array}\right.\) (\(m\ne0\) vì m = 0 hệ vô nghiệm)

Thay \(x=\frac{1-4m}{4m}\) vào (*) ta được : 

                     \(\frac{\left(1-4m\right)^2}{8m}-\frac{\left(1-4m\right)^2}{4m}+2-4m=0\)

                 \(\Leftrightarrow48m^2-24m+1=0\)

                 \(\Leftrightarrow m=\frac{3\pm\sqrt{6}}{12}\)

Vậy \(m=\frac{3\pm\sqrt{6}}{12};m=\frac{1}{2}\)

Hai đường cong tiếp xúc nhau \(\Leftrightarrow\begin{cases}\frac{x^2-x+1}{x-1}=x^2+m\left(1\right)\\\frac{x^2-2x}{\left(x-1\right)^2}=2x\left(2\right)\end{cases}\) có nghiệm

Ta có (2) \(\Leftrightarrow x\left(2x^2-5x+4\right)=0\Leftrightarrow x=0\) thay vào (1) ta được \(m=-1\)

Ta có : \(y'=3x^2-2\left(m-1\right)x+3m+1\)

Gọi \(M\left(x_0;y_0\right)\) là tiếp điểm, ta có : \(x_0=1\Rightarrow y_0=3m+1,y'\left(1\right)=m+6\)

Phương trình tiếp tuyến tại M  : \(y=\left(m+6\right)\left(x-1\right)+3m+1\)

Tiếp tuyến đi qua A \(\Leftrightarrow-1=m+6+3m+1\Leftrightarrow m=-2\)

Vậy m = -2 là giá trị cần tìm

\(y'=3x^2-6mx+3\left(3m-4\right)=3\left[x^2-2mx+3m-4\right]\)

Xét \(f\left(x\right)=x^2-2mx+3m-4\)

\(\Delta'=m^2-3m+4=\left(m-\dfrac{3}{2}\right)^2+\dfrac{7}{4}>0\) ;\(\forall m\)

a. Để hàm số đồng biến trên khoảng đã cho

\(\Leftrightarrow x^2-2mx+3m-4\ge0\) ; \(\forall x\le1\)

\(\Leftrightarrow1\le x_1< x_2\)

\(\Leftrightarrow\left\{{}\begin{matrix}\left(x_1-1\right)\left(x_2-1\right)\ge0\\\dfrac{x_1+x_2}{2}>1\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x_1x_2-\left(x_1+x_2\right)+1\ge0\\x_1+x_2>2\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}3m-4-2m+1\ge0\\2m>2\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m\ge3\\m>1\end{matrix}\right.\) \(\Rightarrow m\ge3\)

b.

Để hàm đồng biến trên khoảng đã cho

\(\Leftrightarrow x^2-2mx+3m-4\ge0\) ; \(\forall x\ge2\)

\(\Leftrightarrow x_1< x_2\le2\)

\(\Leftrightarrow\left\{{}\begin{matrix}\left(x_1-2\right)\left(x_2-2\right)\ge0\\\dfrac{x_1+x_2}{2}< 2\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x_1x_2-2\left(x_1+x_2\right)+4\ge0\\x_1+x_2< 4\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}3m-4-4m+4\ge0\\2m< 4\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m\le0\\m< 2\end{matrix}\right.\) \(\Rightarrow m\le0\)