用人单位打电话通知面试，当时答应了，后来不想去了。

当然要说一声，这叫有所交代。不管会不会去那个单位工作，基本的礼貌是该有的，你不去，他们的计划才能跟着变化，替补的人才能上去。谁知道以后会不会接触到呢？凡是给别人留个好印象总是百利无害的。所以，我建议你诚恳的说一声抱歉。至于理由嘛，当然不能说不想去，找个合适的理由，简单的说明下情况，或是发个短信都可以。

不去就不去嘞哇
他打电话催你的时候再表明原因哇