霍去病從小生活在奴婢群中，生活十分艱苦。但他勤奮好學，小小年紀就精通了騎馬、射箭、擊刺等各種武藝。
後來，霍去病的姨母衛子夫被漢武帝看中，並被立為皇后。衛氏家族從此平步青雲。到十六七歲時，霍去病已經長成了一個相貌奇偉、性格堅毅、智勇過人的青年。漢武帝很賞識他，派他做了保衛皇帝安全的侍中官。
這時，西漢王朝與匈奴的鬥爭已達到白熱化程度。匈奴屢次入侵，漢武帝一改以前的和親政策，開始了對匈奴的反擊戰爭。霍去病的舅舅衛青幾次領兵攻打匈奴，立下赫赫戰功。
公元前 123年春，漢武帝再次組織對匈奴的反擊戰爭。這年，霍去病剛剛18歲。他聽說舅舅又要出征，便躍躍欲試急不可耐地向漢武帝請戰。漢武帝見他少年英武，就答應了他的請求，任命他為驃姚校尉，由衛青挑選了800名驍勇矯捷的騎兵歸他指揮。
霍去病率領 800驍騎一往無前地向北奔去。莽莽草原，人跡全無。他們不知不覺地走了好幾百裡，將近黃昏，忽然發現前方遠處有一片黑點。霍去病判斷應是匈奴的營帳，當即命部下銜枚而行，以迅雷不及掩耳之勢殺了過去。匈奴兵根本沒想到漢軍會這麼遠地殺來，頓時一片混亂。霍去病身先士卒，首先闖入匈奴營帳， 800驍騎個個勇猛無比，把匈奴兵殺得四散逃竄。
這次戰役，霍去病功居第一，其他各路有勝有負。衛青將戰爭的經過報告了漢武帝。漢武帝對霍去病大加讚賞，說：「剽姚校尉霍去病，以 800驍騎斬殺匈奴兵2028人，並殺死匈奴單于的祖父籍若侯產及相國、當戶等將官多人，生擒單于的叔父羅姑比，出奇制勝，勇冠全軍。以2500戶封霍去病為冠軍侯。」
河西地區即今天的河西走廊，在黃河以西，祁連山、合黎山之間，地勢低平，是漢朝通向西方的黃金通道。原來這裡由月氏人居住，後來被匈奴侵佔，成了匈奴渾邪王、休屠王的領地。漢武帝想與大月氏及西域各國取得聯繫，以便共同對付匈奴，於是發動了河西戰役。
公元前 121年春天，漢武帝任命霍去病為驃騎將軍，率領精騎一萬人，從隴西（今甘肅省臨挑縣）出發，攻打匈奴。在霍去病的指揮下，漢軍所至，勢如破竹，穿過五個匈奴王國，轉戰六日，越過焉支山（今甘肅省山丹縣境內）一千多里，在皋蘭山（今蘭州黃河西）與匈奴發生激戰。霍去病率部勇猛異常，橫衝直撞，陣斬匈奴折蘭王、盧侯王，活捉了匈奴渾邪王的兒子及相國、都尉等，殲敵8900多人，並且繳獲了匈奴體屠王的祭天金神像。漢軍大獲全勝。漢武帝非常高興，下令增封霍去病食邑2000戶。
這年夏天，漢武帝決定乘勢全部掃除匈奴在河西地區的勢力，打通進入西域之路，於是發動了第二次河西戰役。
這次戰役，以霍去病、公孫敖率領的幾萬騎兵為主力，從北地郡（在今甘肅環縣）出發，另派李廣、張騫率一萬多人從右北平出發，攻擊匈奴左賢王，策應西征的主力軍。霍去病與公孫敖出塞後，分兵前進，公孫敖由於中途迷失方向，而未能參加戰鬥。霍去病與公孫敖聯繫不上，只好孤軍深入，越過居延海（今內蒙古額濟納旗北），穿過小月氏部落，抵達祁連山。匈奴被他神妙莫測的戰術搞得暈頭轉向，祁連山麓一戰，被打得大敗。這次戰役，總計接受匈奴單桓王、酋塗王及相國、都尉等2500人投降，俘虜了王母、單于閼氏、王子。相國、將軍、當戶、都尉等 120多人，殲滅匈奴兵30200人。
漢武帝加封霍去病食邑5400戶。從此，霍去病的聲望日益顯赫，地位日益尊貴，幾乎與舅舅衛青相當了。
兩次河西戰役之後，漢朝完全控制了河西地區，這對匈奴是一個很大的打擊。匈奴人非常惋惜，他們悲傷地唱道：「亡我祁連山，使我六畜不蕃息；失我焉支山，使我婦女無顏色。」
匈奴伊稚斜單于對於渾邪王、體屠王的屢次戰敗，非常惱火，派使者徵召他們，準備治罪。渾邪王新失愛子，本來就夠心煩的了，又聞單于將要加罪，於是與休屠王商量，決定向漢朝投降，並派使者來與漢朝接洽歸降事宜。當時負責藩屬事務的大行李息，正在黃河邊上筑城，見到渾邪王派來的使者，馬上派人向中央報告。
漢武帝得到這一消息，很高興，認為這樣可以分化匈奴，減弱匈奴的力量，但是又擔心其中有詐，於是派霍去病帶領一萬騎兵。前往河西，見機行事。
霍去病還沒有到達河西，情況就發生了變化。體屠王聽信部下的讒言，不想投降了。渾邪王騎虎難下，痛恨休屠王的背信棄義，於是一不做二不休，他率兵衝入體屠王的營帳，殺死了休屠王，收編了休屠王的部隊，然後列隊迎接漢軍的到來。
霍去病渡過黃河，與渾邪王遙遙相望。渾邪王的部下很多。本來意志就不堅定，現在看到漢軍陣容嚴整，心存疑懼，紛紛逃走。霍去病望見渾邪王陣營人群騷動，當機立斷，親率幾名精騎飛馬馳人渾邪王營帳，與渾邪王談判，下令將私自逃跑的匈奴將士8000人全部殺死。這樣才把匈奴軍隊穩住了。然後，霍去病派輕車快馬先把渾邪王送往長安拜見漢武帝。接著，他把四萬多匈奴降兵編隊列陣，帶回長安。
在河西戰役期間，漢武帝特地從京城送來一罈美酒，霍去病沒有獨自享用，而是將酒倒入泉水中，讓全軍將士飲用，後來，此泉就稱為酒泉，當地也就以泉命名。
漢武帝隆重地接見了渾邪王，封他為漯陰侯，食邑一萬戶。匈奴小王呼毒尼等四人也被封侯爵。漢武帝把這五侯連同他們的部眾分別安置在隴西、北地、上郡、朔方、雲中等地，保持他們原來的生活和風俗習慣，號稱「五屬國」。渾邪王舊地設置武威、酒泉兩郡，連同後來設置的張掖、敦煌二郡，被稱為「河西四郡」。霍去病受降有功，加封食邑1700戶。
從此，匈奴的軍事力量大大削弱，不得不退到遙遠的大沙漠以北地區。漢朝西部的威脅徹底解除，通往西域的道路完全暢通了。
匈奴主力雖遠逃漠北，但仍未放棄對漢朝邊境的掠奪。公元前 120年秋，匈奴騎兵萬餘人又突入定襄、右北平地區，殺掠漢朝邊民一千多人。漢武帝決定遠征漠北，徹底消滅匈奴軍隊。
公元前 119年，漢武帝調集10萬騎兵，隨軍戰馬14萬匹，步兵輜重隊幾十萬人，由衛青和霍去病各領五萬騎兵，分東西兩路向漠北進軍。衛青從定襄出塞，北進1000多里，與匈奴伊稚斜單于所率主力相遇，經過激戰，大敗匈奴單于，斬獲 19000多人，一直追到真顏山趙信城才勝利班師。
漢武帝原來的計畫是由霍去病專力對付匈奴單于，所以給他配備的全是經過挑選的精兵強將。霍去病率軍從代郡出發，大膽地重用匈奴降將趙破奴、復陸支、伊即軒等，在大沙漠地帶縱橫馳騁，行軍兩千多里，越過離侯山，渡過弓閭河，與匈奴左賢王相遇。漢軍發動猛攻，左賢王大敗而逃。這次戰役，活捉匈奴屯頭王、韓王等三人以及匈奴將軍、相國、當戶、都尉等83人，殲敵七萬名。匈奴左賢王部幾乎全軍覆滅。霍去病率軍追至狼居胥山（今蒙古境內德爾山）。為慶祝這次戰役的勝利，霍去病在狠居胥山積土增山，舉行祭天封禮，又在姑衍山（狼居背山附近）舉行祭地禪禮，並登臨瀚海（今貝加爾湖），刻石記功，然後凱旋還朝。
霍去病因功加封食邑5800戶，並與大將軍衛青一起被拜為大司馬。
從此以後，匈奴向北向西遷到更偏遠的地方去了，長城內外一片和平氣象，人民安居樂業。
霍去病一生曾四次領兵出塞攻打匈奴，共殲敵11萬多人。他平時少言寡語，戰場上卻勇猛無比。他是一位軍事天才，漢武帝常常勸他學習孫吳兵法，他卻說： 「為將須隨時運謀，何必定拘古法呢？」他是憑藉戰場上的直覺指揮戰鬥的，隨機應變，閃電式行動，使他百戰百勝，成為名揚後世的一代名將。
霍去病屢立戰功，獲得了高官厚祿，但他把個人的享受擱在一邊，一心以國家利益為重。河西戰役勝利後，漢武帝為了獎勵他的卓越戰功，特意命人在長安為他建造了一座豪華住宅，叫他去看看是否滿意。霍去病謝絕了漢武帝的好意，氣概豪壯地說：「匈奴未滅，何以家為！」這句傳誦千古的名言就是霍去病光輝一生的寫照。
但是霍去病少年顯貴，平步青雲，沒有統帥下級兵士的經歷，因而缺乏對士卒的關心。他率軍出征時，漢武帝派負責朝廷膳食的太官給他送去數十車酒肉，等到班師時，車上仍裝有吃剩下的酒食，但士兵們許多卻餓著肚子。在塞外時，士兵常常因缺糧而士氣不振，可他卻修建球室踢球。
公元前 119年那次出征時，飛將軍李廣跟隨衛青，因為公孫敖剛剛失去了爵位，衛青想讓他同自己一起正面與單于作戰立功，所以調整了戰鬥序列。被調到東路的李廣與趙食其在沙漠中迷失了道路，沒有參加戰鬥，衛青派人責問二人迷路的原因，並讓他們到大將軍處聽候傳訊，李廣說：「我的部下無罪，迷路的責任在我。」他又對部下說：「我與匈奴大小作戰七十餘次，好容易有機會跟著大將軍直接與單于作戰，但大將軍把我調到了東路，本來路途就遠，又迷了路，天意如此呀。況且我已經六十多歲了，實在不能再去面對那些刀筆小吏。」說完就自刎了。趙食其的結果與蘇建一樣，交納贖金後，貶為平民。李廣的兒子李敢當時正在霍去病軍中，因父親的死而怨恨衛青，動手打傷了衛青，衛青沒有追究此事，並隱瞞了起來。但霍去病年青氣盛，對此事耿耿於懷，兩年後，在甘泉宮陪漢武帝狩獵時，用箭將李敢射死。事後，漢武帝隱瞞了真相，說李敢是被鹿撞死的。
公元前 117年，霍去病因病去世，年僅24歲。對於這位青年名將的過早離去，人們都感到無比的悲痛和惋惜。漢武帝特地命人在自己的茂陵旁邊為霍去病修建了一座形狀像祁連山的墳墓，併發動隴西、北地等五郡的匈奴人民，身穿黑甲，把霍去病的靈柩從長安護送到墓地安葬。
霍去病的墓至今仍然矗立在茂陵旁邊，墓前的「馬踏匈奴」的石像，象徵著他為國家立下的不朽功勛。
