到了皇建二年（公元561年）的秋天，，太史官说夜观天象，发现星象有异，便来禀告高演。

高演听后，如哽在喉，不吐不快。命人去传高归彦来见他。高归彦来到后，跪下行礼说：“敢问陛下，召臣来有何事吩咐？”

“平秦王老是说废帝他日恐怕是一个祸害，可有办法除之？”

“回陛下，要除后患，唯一的办法就是杀之。”

“可朕答应过母后和先帝，不伤害他的性命，如果杀了他，岂不是食言了？”

“请恕臣斗胆直言，陛下所说之承诺是此一时，彼一时也，臣猜想陛下当时应允是怀着真心实意答应的，并无半点虚妄之意。

这就说明陛下在当时的一刻确实是没有一丝一毫要取废帝性命的想法。表明陛下已经是守了诺言。

可是现在情况已经发生了翻天覆地的变化，形势和以前大不相同，如何还能守着当时的诺言而违背现在的实际情况行事呢？

臣冒死上言，恳请陛下不要再顾及那些虚妄的诺言，坏了日后的朝纲大事，否则悔之晚矣！”

“这件事母后是坚决不会同意的，她老人家也是想替先帝保留着孙儿的性命，朕这样做就等于忤逆母后，是大不孝的行为。”

“陛下，假如害怕忤逆太后的话，臣有一提议，请陛下恕臣无罪。”

“朕恕你无罪，你直说吧。”

“臣遵旨，这件事陛下一定要秘密进行，万不能让太后知道，说句大不讳的话，太后也是上了年纪的人了，只要一直瞒着她，说不定待她千秋过后，她也不会发现呢。”

高演被高归彦说服，同年（561年）九月，孝昭帝高演密令高归彦去晋阳将高殷杀害，少年废帝时年十七岁。

直到事隔一年后即562年，这件事才被娄昭君发现，下令将高殷葬于武宁陵之西北，谥号闵悼王。