robot.txt能不能指定蜘蛛访问当前时间之前发布的资讯

首先指出，是robots.txt。
robots.txt不可能精确地控制蜘蛛的抓取，你只能让它抓取或不让它抓取，而不能说让它在什么时间来抓取。因为蜘蛛不是你家的。呵呵
雅虎可以控制蜘蛛抓取的频率，但是GOOGLE并不支持。