10月，在第二次东征的河婆战役中，胡宗南率领第6连李铁军部采取灵活机动的战斗方针，充分利用小部队的优势，急速夺取制高点，接着利用地形优势打退了敌人一轮又一轮进攻，粉碎了敌人围歼国民党东征军的企图。
两仗一打，胡宗南名声大振，当时的第1师师长何应钦升任他为第1团第2营营长，蒋介石也开始将他作为黄埔学生的旗帜来培养。得到校长蒋介石的青睐，令胡宗南感到无比荣幸与自豪，他已将蒋介石作为自己投身革命的引路人，处处以蒋介石为榜样，步步紧跟蒋介石的步伐。蒋介石很快注意到胡宗南的效忠，对胡宗南的政治倾向、铁心反共深感欣慰，从此对他更加信任与重用。
1926年7月，北伐战争开始后，胡宗南所在部队集结株洲，担任中路军总预备队。此时，胡宗南已是第1军第1师第2团上校团长，先后率部参加了武昌、南昌等战役，又东出浙江，攻占杭州，进驻上海。
1927年5月，胡宗南升任第1师少将副师长兼第2团团长，成为黄埔学生中跨入少将行列第一人。从1924年考入黄埔军校第一期，胡宗南从军仅仅三年，便成为当时国民革命军中为数不多的高级将领之一。
在此后8月的龙潭战役中，胡宗南奉命以代师长身份率第1师驰援龙潭，于8月末与其他增援部队会攻龙潭，使孙传芳部队全线崩溃，其所部近6万人几乎被全歼。