服务器是否决定网通和电信的快慢

回答是肯定的！
因为服务器和你个人的电脑主机原理是一样的，连接网络不外乎网通、电信、铁通……。
假设某个电信的服务器提供服务，那你要是网通、铁通的线路的话，连接肯定比电信的朋友慢！
这也就是为什么现在有很多网关公司兴起的原因！

应该是运营商的服务器来决定速度的快慢

这个是肯定的了，举个最常见的例子，你在登陆QQ的时候，如果你是电信用户那么QQ就很快会登陆上
如果你是网通用户，在QQ登陆或读取好友列表的时候会慢许多