永徽六年（655年），唐高宗终于不顾大臣们的冒死极谏，诏废王皇后和萧淑妃，册立武则天为皇后。因谏净，褚遂良等人被远贬蛮荒，武则天最忌恨长孙无忌，但他不同于褚遂良等，不但是佐命元勋，更是高宗的元舅，要将之搞垮，需要时机。
显庆四年（659年），在武则天的授意下，由许敬宗费尽心机，把长孙无忌编织进一桩朋党案，进行恶毒陷害。许敬宗借处理太子洗马韦季方和监察御史李巢朋党案之机，诬奏韦季方与长孙元忌构陷忠臣近戚，要使权归无忌，伺机谋反。唐高宗先是吃惊不信，继而伤心怀疑，命许敬宗再察，然后面对许敬宗足未出户编造的关于韦季方交待与长孙无忌谋反的供词，哭泣道：“舅若果尔，朕决不忍杀之，天下将谓朕何，后世将谓朕何！”许敬宗举汉文帝杀舅父薄昭，天下以为明主之例宽慰高宗，又引“当断不断，反受其乱”的古训，催促其下决心。
唐高宗懦弱昏庸，竟然不与长孙无忌对质（或者他需要不进行对质），就下诏削去了长孙无忌的太尉官职和封邑，流徙黔州，但准许按一品官供给饮食，算是对元舅的照顾，对当年为其争得帝位的报答。
而长孙无忌的儿子及宗族全被株连，或流或杀。三个月后，高宗又令许敬宗等人复合此案，许敬宗派大理正袁公瑜前往黔州，逼迫长孙无忌自杀。
