在千叶胤富与小山高朝分别离开以后，上杉政虎还是在镰仓山内馆（山内上杉家的发源地）又滞留了几天，原因是因为下一任古河公方的人选陷入了争议当中。¤
原来，虽然没能打下小田原城，但关东联军攻陷古河御所这样的城砦，问题还是不大的，随后，那位北条家的傀儡“葛西殿”足利义氏就被驱逐了。
不过上杉政虎与越后诸人却是很清楚，古河公方是不能废除的，因为还需要依靠古河公方来维系关东众人的人心，特别是常陆、房总与下野等国的人心。
然而风波又因为这个问题而在山内馆发生了，上杉政虎的人选，是朝廷关白近卫前久，这位出身摄关藤原家的公卿，倒颇有些豪勇男儿的特色，他与上杉政虎结为义兄弟，她妹妹绝姬和上杉政虎间有段说不清道不明的缘分（上杉政虎一辈子有着三个对其影响甚深的女人，第一个是他的姐姐绫御前，绫御前不但为了稳固弟弟的家业而嫁给了长尾政景，而且还将次子上杉景胜送给了弟弟作为其继承人；第二个女人是伊势姬，这个女人是上野国平井城城主千叶采女之女，当初作为人质送到上杉家，与上杉政虎一见钟情并相恋，后来却由于上杉家与千叶家敌对而迫使两人关系断裂，绝望的伊势姬因此而剃发出家、隐居；第三个女人就是绝姬了，她是近卫稙家之女、近卫前久之妹，上杉政虎已经与其商定了婚姻，然而可惜的是。上杉政虎本欲关东出阵后即去京都迎娶。但绝姬却是因病夭亡了。此时的上杉政虎还不知道他将会与所爱的人阴阳永隔，估计也正是连续遭遇了两段悲惨爱情，他才会从此绝口不提娶妻之事的吧），至于近卫前久本人，则直接离开了京都，来到了杀伐四起的关东，为兄弟上杉政虎撑场子。
不过近卫前久虽然贵为关白，但关东的众人却是没几个人会买他的面子的。公方重臣築田晴助推选的，是足利藤政（足利义氏的哥哥，也是築田晴助姐姐的儿子）；而小山秀纲（小山高朝的儿子）推选的，是被北条家废除的足利藤氏（这位也是築田晴助姐姐的儿子，比藤政和义氏要大）。一帮人各有心思，关东诸将各自站队，在山内馆内吵闹不休。
就这样，时光与粮食，就在这没日没夜的吵闹中，渐渐消磨殆尽。此时关东原本就遭了灾年。现在对小田原的远征，更是让各领主的领地经济雪上加霜。进入四月末后，佐竹、小田和宇都宫也先后离去。而北条家不光是小田原，其余诸如河越、玉绳、泷山等重要城砦，也都在关东联军的攻势下得以保全，北条家并未因此伤筋动骨。
另外一面，北条家在准备防守反击的同时，甲斐的武田信玄也趁机开始对北信浓地区大举行动，这愈发让上杉政虎寝食难安了。就在越后军队倾巢而出，滞留小田原城下时，武田信玄的北信攻势乘虚提速，五月，武田军攻陷了孤立无援的割岳城，而后海津城在武田家众人的努力下，也宣告竣工。
上杉政虎在得知割岳城失陷后，就再也坐不下去了，他必须要结束关东的战事，返回北信浓地区与武田家做个了断了。
为何上杉政虎会坐不住？因为，若是海津城落成，意味着武田家对北信浓支配的确立，那么割岳城的陷落，则表明武田家的匕首，能随时刺进越后上杉的心脏！
割岳城，位于水内郡，高度接近八百米，东面是饭山、丰田，西面是柏原，南面是三水，更重要是它的北面，只要越过一片叫野尻的湖面，就是越后国的境内了。
以前上杉家还能以饭山城为门户，扼住武田家的入侵，而现在武田军以高原之城割岳城为基地，一样能列队杀进上杉政虎的根据地。现在若是寄希望于武田信玄消极无作为，那是极其愚蠢的想法，割岳城的易手，再清楚不过地证明了：武田信玄的目标不单单是信浓地区，很可能还有越后国，因为越后国有丰饶的大海，有白色的黄金——盐，有垄断全国的青苧产地，有平整的街道，有河川与肥沃的土地，这点对山里的武田信玄的诱惑力还不够吗？更何况武田信玄就是个贪得无厌的大名。
而武田信玄的确是一个想到就会做到的男子，同样是永禄四年五月，在甲州金的引诱下，越中国的本愿寺首先蜂起，这些净土真宗门徒撕毁了先前与上杉政虎的不战协定，上杉政虎的“安宁后院”不复存在。另外，深入相模的上杉军的后方，武藏国松山城的上田朝直，也接受了武田信玄与北条氏康的贿赂，举旗造反了。更加要命的是，在得到了武田家与骏河今川家的援军支援后，北条家也从乌龟壳小田原城中追击而至了，。
这一点很要命，首先是那位上田朝直一向号称“退路粉碎机”，当年他第一次变节，让太-田资正没了退路，只得投降北条家，这次他第二次变节，轻车熟路，志向更大，要断了新关东管领的退路。而北条家、武田家、骏河今川家的追兵也令上杉政虎头痛不已。
上杉政虎这个时候已经功败垂成，他别无选择，只得留下足利藤氏、近卫前久（这位胆子够大的）留在古河御所，自己则是率领着越后军自五月开始，朝着上野国方向缓缓退去，顺路攻陷了松山城，“退路粉碎机”上田朝直反被“粉碎”，逃之夭夭。六月，上杉政虎安全退回了厩桥城，关东联军实际解散，持续一年有余的关东征伐宣告结束。
上杉政虎的关东征伐虽然很长时间，但真正对小田原城的攻击，只有短短十多天，便宣告折戟沉沙。直接原因，在于小田原城的坚固。但深层原因却是，当初上杉政虎之所以能深入北条家的领地耀武扬威，还是因为他得到了关东诸多大名、豪族的臣从，但“成也萧何败萧何”，也正是因为关东这帮人的朝秦暮楚的无原则，以及上杉政虎掌控力的缺乏，才导致了上杉政虎梦想最终的破灭。
说来说去，上杉政虎虽然贵为关东管领，幕府役职的头衔确实有相当的号召力，但战国早已是威权粉碎的时代，关东战国大名林立的局面业已形成，北条家与外来户“新越后上杉”不过是其间比较强大的一环，但佐竹、里见、宇都宫也都不弱，甚至长野、那须、小山这些国人旗头，也都割据一方。这些势力间的纵横捭阖与微妙制衡，又岂是上杉政虎一方之力，所能整合统一的？
当然，若只从战术层面来说，攻城略地并一度将北条氏康封在小田原城的上杉政虎无疑是胜利者。但从战略层面来说，北条家最重要的同族所把守的大多数城砦都没有陷落，直属实力并无什么大损。
而正因为如此，在上杉政虎退回越后过之后，北条家就立即发动了大举反攻，武藏国、上野国的那帮墙头草，又纷纷重登到《小田原一手役诸帐》上：酒井家、太-田家、上田家、高城家等豪族归降，而不肯反水的三田家，则是直接被北条氏照攻灭。
于是，北条家的势力范围又像弹簧那样弹了回来，武藏国、上野国、房总国又成了强权来回拉锯之地（后来武田家又来插手）。不过这点也产生了意想不到的效果：后来在历史中，这帮来回倒的国众，上杉政虎冲过来杀一批，北条氏康弹回来屠了一批，武田信玄插进来又灭了一批，一来二往凋零得也七七八八。
历史中，到了丰臣秀吉小田原征伐时，关东的大部分国众，不是没了，就是成了北条家的被官家臣，后来转封此地的德川家康，运用对待甲斐武田遗臣的同样怀柔手段，将这批人轻轻松松地接纳到自己的帐下，这就是而后所谓的“德川幕府八万旗本”的基干力量，成了德川家康谋取天下的最根本资本。
就这样，在上杉政虎返回越后国，开始花费精力对付那些背叛者，而北条家也开始全面反攻后，一时间从越后国到关东地区都显得热闹非凡。
时间一直持续到了永禄四年的八月，秋日骄阳高照，春日山城中，上杉政虎在向毗沙门天许下必胜愿望后，走出馆殿，对着一万八千越后子弟兵，发出了进军北信浓的命令。在将内部问题解决后，上杉政虎准备报复甲斐之虎了。