829年，在裴度的极力引荐下，离京7年的李德裕就任宰相。而他的政敌李宗闵（牛党）在宦官的支持下，也被任命为宰相。李宗闵（牛党）排挤掉李德裕，李德裕再次被逐出京城，任义成（镇今河南滑县）节度使，稍后再任西川（镇今四川成都）节度使。不久，李宗闵又引牛僧孺入朝为相，二人合力斥逐拥护李德裕的朝官。
李德裕任西川节度使时，勤修政绩，吐蕃维州（今四川理县）主将举城而降，李德裕主张趁势反攻吐蕃，收回失土。可是牛党的李宗闵、牛僧孺倾向维持边境的现状，命李德裕退出维州，交回降将。吐蕃当场在边境上杀死降将。李宗闵、牛僧孺的决策，引起了公愤。832年，唐文宗李昂罢免宰相牛僧孺，召还李德裕。
次年（833年），李德裕当上宰相。李德裕跟新任御史大夫郑覃，联合反击。李宗闵（牛党）罢相，被贬出长安。李德裕得势，一概排斥李宗闵朋党。但是李德裕看不起宦官，因此深受宦官的嫉恨。834年，唐文宗在宦官的煽动下，召回李宗闵担任宰相，贬谪李德裕。
李德裕屡次失败之后，改变了自己以往蔑视宦官的态度，注意和宦官处好关系。李德裕任淮南节度使时，监军宦官杨钦义奉召还京，大家都说他一定去做枢密使（掌握军权）。李德裕接待他还是同平常一样，并无加礼，杨钦义很不满意。过了几天，李德裕请杨钦义宴会，情礼极厚，宴后，还赠送不少礼物，杨钦义喜出望外。杨钦义行到汴州（今河南开封），奉旨仍回淮南。