抗戰勝利後，升任第74軍軍長的張靈甫（左二）與所部軍官合影。（網路圖片）
上高位於江西省錦江的上游，俯瞰贛東平原。日軍佔領上高，即有助於進攻長沙，又可以憑此進攻贛南。一九四一年三月，日軍調集了第三十三師團、第三十四師團及第二十混成旅團，共約六萬五千人，由日軍第十一軍司令官園部和一郎指揮，採用分進合擊戰術，分南、北、中三路向上高扑來。
時任國軍第九戰區副司令長官羅卓英，集中第四十九、第七十、第七十三、第七十四軍五個軍共十萬餘人的兵力在上高外圍設置阻擊防線，並時刻準備合圍有可能孤軍深入的日軍。
三月十五日，北路日軍第三十三師團由安義向奉新、上高方向進犯，攻陷奉新。十八、十九日，第三十三師團進至上富、若竹坳附近，遭國軍第七十軍一部伏擊，歷盡苦戰，付出重大傷亡後不得不撤回奉新。
南路日軍第二十混成旅團，自贛江北岸發起進攻，先於三月十五日夜間強度錦江，然後沿錦江南岸向西進犯。守軍國軍第七十軍第一○七師和第七十四軍第五十一師頑強阻擊並重創該路日軍。二十一日第四十九軍與第七十四軍之第五十一師將日軍第二十混成旅團擊退至錦江以北。
三月十六日，中路日軍第三十四師團沿錦江北岸向高安方向進犯，十八日，第三十四師團攻佔高安，並繼續向西攻擊。二十一日，國軍第七十四軍在棠浦、泗溪之線英勇阻擊來犯的日軍第三十四師團。同時，第四十九軍與第七十四軍之第五十一師渡贛江北上，與第七十軍主力合力攻擊日軍第三十四師團的側翼。
自三月二十二日起，由於日軍南北兩路軍均被國軍擊退，日軍第三十四師團已是孤軍深入，因此更加急於盡快攻取上高。二十二日至二十四日，日軍第三十四師團集中一萬餘人的兵力在數十架飛機掩護下猛攻上高外圍之七十四軍雲頭山、白茅山陣地，日機狂轟濫炸，士兵冒死衝鋒，第七十四軍拚死阻擊，曾七次與攻入陣地的日軍白刃肉搏，陣地上血肉橫飛，僅一日雙方死傷即達八千人以上，面對蜂擁而來的日軍，第七十四軍殺聲震天，前仆後繼，死守不退，為從兩翼包圍第三十四師團的友軍部隊贏得了寶貴的時間。國軍第七十軍、第七十二軍和第四十九軍終於趕到，日軍第三十四師團完全陷入國軍包圍。第三十四師團師團長大賀茂中將見狀驚惶失措，急向日軍第十一軍司令官園部和一郎求救，園部急令第三十三師團及第二十混成旅團星夜馳援解圍。
二十五日，來援的日軍第三十三師團生力軍開始扑向官橋街、棠浦，被圍第三十四師團也開始向該地區倉惶撤退，最後兩路日軍合兵一處。但這種會合併沒有給日軍帶來什麼益處，反而使日軍這兩個師團不久都陷入了國軍新的包圍圈中。二十六日夜，攻克泗溪的國軍第七十四軍協同各部，將日軍這兩個師團包圍於官橋街及南茶羅一帶。二十八日，國軍主力以第七十四軍為先鋒向被包圍在官橋街的日軍猛攻，激戰到下午，日軍守備六百餘人全被殲滅，日軍第三十四師團少將指揮官岩永被擊斃，國軍收復官橋街。三十一日國軍攻克高寧，日軍東逃之路被切斷。四月一日，被圍日軍在十五架飛機掩護下，向斜橋方面突圍逃竄，國軍開始猛烈追擊。自四月二日至八日，國軍收復子西山、萬壽宮、奉新、長埠、宋埠、平洲、弓尖等要地。日軍在遭受重大傷亡後，退回戰前位置。
此次戰役，日軍之第三十三師團被擊破，傷亡慘重；第三十四師團及獨立第二十混成旅團被殲約十分之七，國軍總計斃傷日軍一萬五千餘人。戰後，日軍第十一軍司令官園部和一郎中將因被認為指揮無能而被撤職，改由阿南惟幾中將接任。
此次戰役，國軍以第七十四軍表現最為突出，據國軍戰史記載：「中路日軍第三十四師團二十二日集中萬餘兵力，在飛機掩護下猛攻七十四軍陣地，七十四軍拚死力拒，雖血肉橫飛、傷亡慘重，仍不稍退，是日一日間敵我傷亡均在四千以上」。
此役張靈甫代師長因表現優異，於當年冬天升任國軍七十四軍第五十八師師長。不久，張靈甫將軍經蔣介石特批，進入陸軍大學甲級將官班學習，成為甲級將官班唯一的一名少將學員。
此役第七十四軍因戰功顯赫，榮獲國民政府第一號武功狀和最高榮譽「飛虎旗」。對國軍在此戰役中的戰術，何應欽於當年四月四日對中央社記者的談話中認為：「上高會戰在今後作戰指導上非常重要，其影響之大，莫可比擬。敵人採取分進合擊態勢，即可謂外線作戰。我軍始終固守上高一帶既設陣地，依內線作戰之原則，先擊潰其夾擊之一翼，然後轉向其主力包圍攻擊，率將其各路兵力悉行殲滅，可謂為開戰以來最精彩之作。」
