武氏被立为皇后,这使得长孙无忌的反对者中又多了一位劲敌。高宗显庆年间(656-661),武则天乘高宗患病之机,逐渐掌握了朝廷大权,这个时候,她不能也不会放过任何对手。经过一段时间的精心准备,对付长孙无忌的计划已经酝酿成熟了。
唐显庆四年(659年)四月,武则天指使自己的亲信许敬宗诬陷无忌谋反。尽管最初唐高宗不相信,但是他经不住许敬宗的再三诬告,最后竟然信以为真,他没有召来长孙无忌当面询问一下,就糊里糊涂地将无忌流放到边远的黔州。尽管无忌已被流放,但武则天还是不放心,又指使许敬宗等人将无忌身边的才能之士全部铲除掉。同年七月,武氏复按反狱之罪,逼长孙无忌自尽,而他的姻亲也大都遭谪徙。
长孙无忌落得这样的下场,是他过分贪恋权势的结果。尽管无忌无心篡位,但是他作为外戚,极力维护和巩固自已的地位,很容易成为众矢之的。长孙皇后曾多次劝无忌逊职,但是长孙无忌没能真正理解妹妹的良苦用心和深谋远虑。他出于私利,拥立生性懦弱的李治为太子。当他手握重权的时候,为了消除异己,先是诛杀贤良的吴王李恪,继而又枉害李道宗,制造了不少冤狱。可是到了最后,自己也遭人暗算。长孙无忌过分贪恋权势,最后也因为权势而不得善终,这个故事从反面说明了老子“知足常足”的可贵。