太子右庶子,进爵广平县侯。当时,洛州女淳于氏因罪被关入大理寺监狱。李义府听闻淳于氏貌美,便暗中指使大理丞毕正义将她释放,然后纳为室。大理寺卿段宝玄据实上奏,唐高宗便命给事中刘仁轨,侍御史张伦审理。李义府担心事情败露,竞逼令毕正义在狱中自缢,以断绝实证。唐高宗虽知实情,但却没有追究李义府的罪责。
后来,待御史王义方弹劾李义府道:“义府擅杀六品寺丞,理应治罪。”李义府出班辩斥,经王义方三次叱责,这才快快退下。唐高宗大怒,认为王义方诋毁大臣,言辞不逊,将他贬为莱州司户。退朝后,李义府得意地向道:王御史妄加弹劾,惭不惭愧?王义方正色道:孔子担任鲁国司寇,仅七天便诛杀少正卯。我王义方就任御史已经十六日,却不能诛杀奸邪,确实有愧。不久,李义府兼任太子左庶子。
秋季,七月二十一日,中书令兼检校太子詹事。固安县公崔敦礼为太子少师,同中书门下三品。改户部尚书为度支尚书,户部侍郎亦改为度支持郎。
八月四日,太子少师崔敦礼去世。左卫大将军程知节与贺鲁所部歌逻禄获刺颉发以及处月 预 支俟厅等在榆幕谷大战,大破他们军队,斩首级一千多个,缴获马,牛,羊以上万来计算。
九月十二日,开始诏冷户数满三万以上的为上等州,二万户以上的为中等州,先前已为上等州,中等州的各个按照旧的规定。皇后武媚娘制定《外戚诫》。十九日,州海水泛滥,破坏了安固,永嘉二县,毁损四千多家。二十日,开始制定都督及上等州各设置执刀手十人。二十二日,开始设置骠骑大将军,官阶为从一品。程知节与贺鲁之子口至运战,斩敌人首级数千个,进军到城,俘获贺鲁部落户口及货物堆积如山。
冬季,十一月五日,皇后武媚娘生下第三个儿子李显,皇帝李治诏令京官,朝集使各加勋一级。
十二月十九日,设置算学。左屯卫大将军程知节讨伐贺鲁逗留不前而犯罪,追杀贼人没有追上,减去死罪,免除官爵。撤销兰州都督,鄯州设置都督。
显庆二年(657年)的春天,褚遂良因为得罪武媚娘,被朝廷调到离京师极远的桂州(今广西桂林)去任都督。同年晚些时候,皇后武媚娘则与许敬宗、李义府一起,诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。晚年的褚遂良又一次被贬——这一次是被贬到更远的爱州(今越南清化),褚遂良在绝望之中,自恐罹谗被祸,无术生全,因此向高宗皇帝李治上表自陈道:
往

