垂直领导的行政机关与所在地政府有何关系？

没什么关系
因为人、财、物地方政府都干涉不了
最多只是在人家的地盘上遵守基本的礼节就可以了

可能是平行的关系,即是同一级别的，也可能不是同一级别的，但他们不管是哪种情况都不是隶属关系。他们分别隶属于不同的机构或者组织。比如：地方政府隶属于中央政府，属于地方的最高权利机关，行政机关均隶属于国务院，因为国务院是国家最高的行政机关，是国家最高权利机关的执行机关