白崇禧身为军事委员会副参谋总长，在战略指导方针上始终持有不同看法。鉴于敌我力量悬殊，他不主张国军与日军在正面战场硬拼。他建议将国军兵力转向敌后开展游击，破坏其交通和后勤补给，袭扰和消耗日军。7月26日，白崇禧从桂林致电蒋介石，呈述其战略主张：对敌战法应重加检讨，查岳阳至衡阳铁路约342公里，水路约710公里，公路约720公里，敌军10万以上，补给不足，我于正面既不能击破敌人及阻止敌人，拟请改变战法，转向敌后袭击其辎重，破坏其交通，使敌饥疲无法持久。

而军令部长徐永昌则认为，在目前国内外舆论交加贬议的情势下，国军唯有发愤拼命，打几个胜仗，才能提高地位，扭转国际观感。徐永昌的意见大体上表达了蒋介石的心声。而白崇禧转向敌后开展游击的战略，可能对消耗敌人、与日军展开持久抗战切实有效，但难以在短期内起到对外宣传的作用。蒋介石没有接纳他的建议。

第二阶段的基本战局是，以衡阳为中心，在湘江以东山区（湖南攸县、茶陵、醴陵、安仁、耒阳和江西萍乡、莲花）和湘江以西的丘陵地区（宁乡、湘乡、永丰），永丰，今湖南双峰。双方展开了一场激烈的攻防战。在这一阶段的战斗中，第十军长达47日的衡阳守城战最为壮烈，因而也最具影响。但衡阳守城战只是第二阶段战局的一部分。衡阳周围的增援和解围战，以及湘江东西两翼的攻防战，国军不仅投入了相当多的兵力，而且战斗亦十分激烈，牵制和消耗了日军的大部分兵力。

8月8日衡阳沦陷后，白崇禧从桂林急电蒋介石，建议速将衡阳周围的第四十六军、第六十二军调往桂林，并请将其他部队大部撤至祁阳、零陵至桂林一线防守。从日军的战略意图看，日军占领衡阳后，必将迅速西进，攻取其下一目标桂林。白崇禧的这一部署显然是正确的。蒋介石接电后，让军令部加以研讨。而军令部建议将主力部队仍留在衡阳周围继续攻敌，其理由是：（1）前线撤兵，敌必跟踪深入；（2）激战之后，部队急撤，有溃退之虑；（3）撤兵影响人心与盟军观感；（4）目前态势，地理比较有利，利用现形势打击敌人，较退保桂林有利。军令部还建议蒋介石将白崇禧调回重庆。蒋介石再次接受了军令部的建议而否决了白崇禧的主张。8月10日，蒋介石电令各军反攻衡阳。12日，蒋介石再次训令各军“以攻为守，并袭扰敌后方”。