so...that 前面能用it作主语吗？

可以，但是你这句话有点问题，句子中的it就是指的Math，因此第一次提到应该用Math，第二次用it代替。应该为Math is so difficult that he can't learn it well.
It在没有上下文的情况下，一般指天气（weather）
例如;It was so hot that he turned on the fan.
天太热了以至于他打开了风扇。

可以的，这是一个句型啊。