消灭了张士诚的势力后，朱元璋控制了汉水下游和长江中下游地区，这是当时全国人口最密集、物产最富饶、经济最发达的区域。
除了朱元璋，当时南方的割据势力有：浙东的方国珍、福建的陈友定、两广的何真、四川的明昇、云南的元梁王。
明昇是明玉珍的儿子，元至正十六年（公元1366年）三月，明玉珍去世，年仅十一岁的长子明昇继位，成为四川大夏政权的皇帝；大夏主幼兵弱，不会构成威胁。
方国珍、陈友定、何真、元梁王虽是元朝的臣子，但是与大都相隔甚远，势单力孤。
北方的王保保正在与关中的李思奇、张良弼、脱烈伯、孔兴等人混战，对元顺帝的停战、南征的命令置若罔闻。
根据当时的形势，朱元璋打算北伐、南征同时进行，分兵南下攻打南方割据势力的同时，派主力部队北伐中原。
朱元璋用兵一向稳扎稳打、步步为营。北伐是与元朝的决战，直接关系到能否夺取全国最高统治权，为了力争万无一失，元至正十七年（公元1367年）九月底，就北伐方略征询刘伯温、陶安的意见，展开讨论。
刘伯温认为朱元璋当时人多地广，足以席卷天下，应乘胜北上，以迅雷不及掩耳之势长驱中原。
然而，朱元璋认为两军交锋，不能倚仗地广人多，中原虽然混乱，但也不能轻视，对刘伯温的乐观不太认同。
朱元璋认为，李思奇、张良弼占据关陇、王保保占据河南、王宣父子占据山东，与大都成犄角之势，互为声援，不可小觑，于是决定持重待机，以观其变。
元至正十七年（公元1367年）十月，朱元璋派汤和、吴祯带兵攻打方庆元，方国珍眼见温州、台州已失，庆元成为孤城，于是驱赶部众上船，逃往海上，朱元璋消灭方国珍指日可待。
朱元璋对北方的形势反复琢磨，深入分析：河南的王保保专擅跋扈，上下猜疑，部众离心；关陇的李思齐、张良弼彼此猜忌、势不两立，而且与王保保陷入混战；山东的王宣父子反复无常、三心二意。
沂州的元朝守将王宣父子数年前曾写信给朱元璋，表示有意归附。八月，朱元璋写信谴责他们进犯海州。九月，王宣派人向朱元璋谢罪。
因此，朱元璋认为元朝将要灭亡，北伐时机已到，于是决定发兵北上。
朱元璋和徐达、常遇春等将领商议北伐的具体战略部署。
常遇春提议直捣大都，被朱元璋否决。
朱元璋认为，元朝在大都建都百年，城池坚固；如果孤军深入，不能很快攻破，只能驻扎在坚城之下，到时粮饷不继，各地的元兵又纷纷赶来，我军将进退两难。
于是，朱元璋制定了稳步前进的北伐战略：“先取山东，撤其屏蔽；旋师河南，断其羽翼，拔潼关而守之，据其户槛，天下形势入我掌握，然后进兵元都，则彼势孤援绝，不战可克”（《明太祖实录》）。
元朝失去江淮以南的区域后，山东成为大都南面的天然屏障，攻下山东，将使大都门户大开；攻取河南可保护北伐军的侧翼；夺下潼关后，利用其险要地形，派少量的兵力驻守便能牵制关陇的元军。
而且，朱元璋军队占领山东，控制了南北大运河，江南的粮食便能源源不断地运送到北伐前线，保证军需供给。
此外，朱元璋认为王保保、李思济、张思道都身经百战，很难轻松取胜，逼急了还可能使其合兵一处，所以决定攻占潼关后不继续攻打关中，不攻山西而直接进攻河北，然后直取大都。
出发前，朱元璋重申军纪。朱元璋告谕诸将，北伐的目的在于“削平祸乱”，让百姓过上安定的日子，切不可侵犯百姓，“遇敌则战，若所经之处，及城下之日，勿妄杀人，勿夺民财，勿毁民居，勿废农具，勿杀耕牛，勿掠人子女，民间或有遗弃孤幼在营，父母亲戚来求者，即还之”（《明太祖实录》）。
元至正十七年（公元1367年）十月，朱元璋发布讨伐元朝的檄文。
在檄文中，朱元璋提出“驱逐胡虏，恢复中华；立纲陈纪，救济斯民”的主张，争取北方汉族地主的支持；申明北伐的目的在于“拯生民于涂炭”，告诉北方百姓，北伐军队“号令严肃，无秋毫之犯”，动员百姓支持北伐；声名“蒙古、色目虽非华夏族类，然同生天地之间，有能知礼义愿为臣民者，与中夏之人抚养无异”（《明太祖实录》），愿意归附的蒙古、色目民众将获得同等对待，以分化蒙古统治阶层，尽可能减少北伐的阻力。
谋定而动，同年十月二十一，朱元璋任命徐达、常遇春为征虏大将军、征虏副将军，令他们率领二十五万大军由淮入河，北伐元朝。