建设银行的借记卡在省内提存要手续费吗？

当然要了，只是在你所在城市不需要而已，出了你所在城市就算省内一样收费：

中国建设银行

本地ATM跨行取款每笔4元

异地本行ATM跨行取款每笔取款金额的1%，最低2元

异地跨行ATM取款每笔手续费为2元+取款金额的1%，1%部分最低2元

存款手续费：

手续费是千分之五，最低2元，最高50元。