到了青泥这距离苻秦的国都长安已经无险要关隘可守了。于是苻健遣其子苻生、弟弟苻雄率领数万部众屯军峣柳愁思缒以抵御桓温大军的攻势。双方大战之后，苻生大军被击败后部众溃散。这边苻雄与桓温的弟弟桓冲激战于白鹿原，又被桓冲击败了。苻雄没办法只好前去偷袭相对弱小的司马勋，司马勋也有自知之明，他率军退守女娲堡。

桓温大军一路打下来，一路高歌前进，长安已近在咫尺了。他率军抵达霸上（位于长安东），苻健只得以五千人挖深沟自守。长安城中的居民听闻王师以抵达长安，皆持牛酒于道路旁欢迎桓温的大军。一名老者流泪道“不曾想到了这把年纪还能看到官军。”闻者无不痛哭流泪。由此可见关中的汉人还是对晋室怀有感情的。

永和十年（354）二月，桓温统领步骑兵四万从江陵出发，水军从襄阳进入均口抵达南中后步行至淅川，然后全军一起征讨关中的苻秦。桓温命令司马勋出子午道，别军攻打上洛，抓获了苻健的荆州刺史郭敬。大军继续出发进击青泥，不出所料大军拿下了此地。后来的宋武帝刘裕攻打后秦时他手下的将领沈田子也是通过这条路径消灭的后秦大军，从而一举消灭后秦。

当时苻健已经死了，其子苻生继位。姚襄想要从他手中拿下一块属于自己的地盘。他派军攻打位于匈奴堡的平阳太守苻产，苻柳前来救援被姚襄击败，于是他们只得引军退还蒲坂。苻产的援军被击退后，姚襄攻克了匈奴堡杀了苻产。他还遣使想从苻生那借道带领部众回到陇西。苻生不经过大脑就想同意，幸得苻坚劝谏才没有允许。苻生命令大将张平前去抵御姚襄，他也是和姚襄讲和。姚襄遣其堂兄姚兰于鄜城（今陕西洛川县东南）掠地，兄长姚益生及将军王钦卢于北地召兵。苻生遣苻飞前去距敌，姚兰被击败抓获。姚襄进军黄落（今陕西同官西南）。苻生遣苻黄眉、苻坚、邓羌率步骑兵一万五千前去讨伐他。双方交战于三原（今陕西三原县东北）最终斩杀了姚襄，姚襄的弟弟姚苌率领诸位弟弟投降了苻生。记住这个姚苌，他就是后来背信弃义杀了苻坚，五胡十六国后秦的开创者。当时乃是升平元年五月。六月。苻坚就杀了苻生自立为帝了。

视线转移到姚襄这，自从他击败殷浩后就率领部众渡过淮河屯军于盱眙。然后于当地招揽掠夺流民以充实自己的势力，一番功夫下来部众人数已至七万人。流民郭斁等人抓住堂邑内史刘仕向姚襄投降了。对此东晋朝廷大震，以吏部尚书周闵为中军将军沿江防备姚襄，谢尚也从历阳而还保卫京师。姚襄的将佐、部众都是北方人，他们都劝姚襄北归。

永和十一年（355）四月，姚襄入侵外黄（今河南杞县东）被晋将高季击败。姚襄收拢败军，用心安抚他们，这样军心又振作起来了。

桓温之前北伐就收复了洛阳，他请求修复洛阳的晋室先帝的陵寝，之后把都城从建康移回洛阳。他对此事上表十余次，朝廷皆不许。晋元帝司马睿东渡入主建康重建晋室到桓温此次北伐收服洛阳，已经过了四十多年了，当时和元帝一起从北方而来的世家大族已经在南方扎稳了脚跟。桓温知道他们不会想回到残破不堪的洛阳，于是就多次提议迁都回洛阳以试探朝廷对自己的态度，从而显示自己的权威。果然朝廷还是向桓温低头，让桓温担任征讨大都督，都督司隶、冀州二州，委以专征之任。桓温之前就已经都督了八州之地，加上这次的二州，他已经都督了东晋十州之地，真可谓是权倾内外。

桓温遣督护高武占据鲁阳，戴施屯军河上，携水军之威逼近位于许昌、洛阳的姚襄。四月，桓温从江陵出发征讨姚襄部众。八月，双方交战于伊水北，大败姚襄。姚襄败走平阳，迁徙部众三千余家逃往于江、汉之间。桓温抓了周成而归，并让毛穆之、陈午、戴施镇守洛阳。姚襄大势已去之后只好把部曲向北迁徙到了北屈（今山西吉县），屯军于杏城。

永和十二年（356）姚襄攻入许昌。先前是周成反叛袭击了洛阳，河南太守戴施逃到了鲔渚（今河南巩县北），到了这时姚襄手下的将领进入河东，以图谋关右之地，于是他们从许昌出发攻打洛阳，但是数月也没有攻克洛阳。

殷浩北伐失败之后，桓温在朝廷内彻底没有了竞争对手。于是桓温决定也北伐以提高自己的威望。

当时桓温考虑到长安附近的麦子熟了，就取来把它们作为自己的军粮，而苻健就实行坚壁清野的政策，以致桓温大军的军粮不足。这粮食不足人心就会不安，于是到了九月桓温只好收拢三千余户百姓而还。

即使桓温能够攻克长安，关中之地沦陷已久，氐、羌等胡人甚多，也不是旦夕之间就能够清理干净的；而关中旁边的河北、河东之地都是弱者的地狱，更不是荆、襄一隅的兵力就能够扫荡一空的。东晋上下游的军力合在一起对付他们都还不够，更不用说桓温威逼朝廷废殷浩后自己率军而出，就当时的情形来看，他们身后没有援军，就是一只孤军在北伐罢了。就如之前桓温灭蜀，那是因为蜀地的胡人势力弱小还能够凭借自己一军消灭他们。想要自己还用这样的方法勘定北方，扫荡诸胡何其难也。桓温此次北伐不成也是他之前的因造成的果。