弾いている時は右手と左手は別のことをしています。

両手というのは連動していて、片方で別のことをするのは基本的に苦手です。

なので、左手が加わると弓の動きが急に怪しくなるのは当たり前のことだと思います。

それをいかに乗り越えるには、左手だけ、右手だけ、それぞれ練習して、それを組み合わせる、といったような地道な練習も必要です。

それに左手は弦の張力に負けない力が必要です。
指の力が弱いと音程も怪しくなります。