武氏被立为皇后，这使得长孙无忌的反对者中又多了一位劲敌。高宗显庆年间（656-661），武则天乘高宗患病之机，逐渐掌握了朝廷大权，这个时候，她不能也不会放过任何对手。经过一段时间的精心准备，对付长孙无忌的计划已经酝酿成熟了。
唐显庆四年（659年）四月，武则天指使自己的亲信许敬宗诬陷无忌谋反。尽管最初唐高宗不相信，但是他经不住许敬宗的再三诬告，最后竟然信以为真，他没有召来长孙无忌当面询问一下，就糊里糊涂地将无忌流放到边远的黔州。尽管无忌已被流放，但武则天还是不放心，又指使许敬宗等人将无忌身边的才能之士全部铲除掉。同年七月，武氏复按反狱之罪，逼长孙无忌自尽，而他的姻亲也大都遭谪徙。
长孙无忌落得这样的下场，是他过分贪恋权势的结果。尽管无忌无心篡位，但是他作为外戚，极力维护和巩固自已的地位，很容易成为众矢之的。长孙皇后曾多次劝无忌逊职，但是长孙无忌没能真正理解妹妹的良苦用心和深谋远虑。他出于私利，拥立生性懦弱的李治为太子。当他手握重权的时候，为了消除异己，先是诛杀贤良的吴王李恪，继而又枉害李道宗，制造了不少冤狱。可是到了最后，自己也遭人暗算。长孙无忌过分贪恋权势，最后也因为权势而不得善终，这个故事从反面说明了老子“知足常足”的可贵。