公司这样辞退我，可以进行补偿？

先看你的公司是个体小老板，还是有些规模的小企业。小企业貌似不会连这点基本的劳动法也不懂。
如是个体小老板我建议你还是先来软的或者死追着要补偿，最后是死皮赖脸的程度，更可能来点眼泪轰炸，把自己弄的可怜些。
因为你已经从事这么多年的工作，有点人性的老板也不会为这点事开除你，劳动法上：实习3个月，必须签定2年以上的劳工关系，实习4个月以上未转正或签定劳动合同的，属于无限期劳动合同。
你工作了3年，才签定，按照你的工作年限,一年一个月工资的经济补偿金.不足一年的,按照一年算.因此,你工作十个月,应当支付一个月工资的经济补偿金.而且,如果单位不主动支付该补偿金的,在你们的劳动合同解除之后,单位除了应向你支付经济补偿金外,还应当按该经济补偿金数额的百分之五十支付额外经济补偿金。
还有一点就是,如果单位没有给你们办理社会保险的,可以要求补办.

你可以向单位所在地的劳动局下设的劳动监察大队进行投诉,一般都可以妥善处理;或者你可以直接申请劳动仲裁.
建议你依法维权.

下面是相关规定,可以看一下:
违反和解除劳动合同的经济补偿办法

第五条 经劳动合同当事人协商一致，由用人单位解除劳动合同的，用人单位应根据劳动者在本单位工作年限，每满一年发给相当于一个月工资的经济补偿金，最多不超过十二个月。工作时间不满一年的按一年的标准发给经济补偿金。
第十条 用人单位解除劳动合同后，未按规定给予劳动者经济补偿的，除全额发给经济补偿金外，还须按该经济补偿金数额的百分之五十支付额外经济补偿金。

一句话：他不赔，咋就告。