829年,在裴度的极力引荐下,离京7年的李德裕就任宰相。而他的政敌李宗闵(牛党)在宦官的支持下,也被任命为宰相。李宗闵(牛党)排挤掉李德裕,李德裕再次被逐出京城,任义成(镇今河南滑县)节度使,稍后再任西川(镇今四川成都)节度使。不久,李宗闵又引牛僧孺入朝为相,二人合力斥逐拥护李德裕的朝官。
李德裕任西川节度使时,勤修政绩,吐蕃维州(今四川理县)主将举城而降,李德裕主张趁势反攻吐蕃,收回失土。可是牛党的李宗闵、牛僧孺倾向维持边境的现状,命李德裕退出维州,交回降将。吐蕃当场在边境上杀死降将。李宗闵、牛僧孺的决策,引起了公愤。832年,唐文宗李昂罢免宰相牛僧孺,召还李德裕。
次年(833年),李德裕当上宰相。李德裕跟新任御史大夫郑覃,联合反击。李宗闵(牛党)罢相,被贬出长安。李德裕得势,一概排斥李宗闵朋党。但是李德裕看不起宦官,因此深受宦官的嫉恨。834年,唐文宗在宦官的煽动下,召回李宗闵担任宰相,贬谪李德裕。
李德裕屡次失败之后,改变了自己以往蔑视宦官的态度,注意和宦官处好关系。李德裕任淮南节度使时,监军宦官杨钦义奉召还京,大家都说他一定去做枢密使(掌握军权)。李德裕接待他还是同平常一样,并无加礼,杨钦义很不满意。过了几天,李德裕请杨钦义宴会,情礼极厚,宴后,还赠送不少礼物,杨钦义喜出望外。杨钦义行到汴州(今河南开封),奉旨仍回淮南。