现在和两个单位签了三方协议，第一个单位我不想去了，我也不想交违约金该怎么办

第一种可能：你的第一个单位会向你学校直接要人（当然也不是只是发个调档函那么简单了），如果他们非要较真，你必须赔偿两方面的损失，对学校你算违纪，对单位你算违约，弄不好的话，你的第二个单位也完全可以以此理由拒绝接收你。——所以关键要对第一个单位知会一声，别一声不吭地就和他们断绝关系了——这样不好。
第二种可能（当然可能性比较大）：你的第一个单位不会追究你，这样你可以顺利地和第二个单位履行一切程序。下年的三四月份，你的报到证会下发到你的手中，毕业后不出三个月，你的档案就会寄至你单位所在地的人事局人事科，再转发至你单位（档案的寄发是由专门部门负责的）
你还可以专门到你校就业指导中心专门咨询一下，那里的老师不会难为自己的学生的——当然你要旁敲侧击的问……

应该没事。

那就要看你们学校了。现在就业难，估计不行

我认为学校会按第二个单位签订的协议派遣的.