霍去病是卫子夫二姐卫少儿和平阳府中一个叫霍仲儒的小吏的私生子。卫少儿发现自己怀孕后,曾恳求那个小吏娶自己为妻,但是那个小吏始终觉得卫少儿地位太低下,迟迟不肯娶她。当时卫子夫还未受武帝宠幸进宫,卫家是奴隶出身。之后卫子夫进宫,卫氏一族脱离奴籍,卫家开始显贵。霍仲儒急忙答应迎娶卫少儿,但是或许是伤透了心,或许是今非昔比,显贵的卫氏一族霍仲儒已完全不能相配,卫少儿嫁给了当时的显贵陈掌。霍去病是跟着自己的母亲卫少儿的,大将军卫青是他的舅父,皇后卫子夫是他的姨母,太子刘据是他的表弟,霍去病是卫氏一族的成员,他的荣辱兴衰与卫氏一族紧密相连,是皇后卫子夫和太子刘据的坚强后盾,他靠着卫氏一族的显耀而备受重视,出众的军事才能得以发挥,当他凭借军功而位居大司马之时,卫子夫的外戚势力便十分强大。他备受汉武帝宠幸,曾为了保住太子据的地位而请立三王,将他们从汉宫送至封地称王,杜绝他们即位的可能性。但最终他突然猝死,原因不明,卫氏开始走向衰落。后来的丞相霍光是他同父异母的弟弟。霍去病长大后曾去探望他身在乡间的父亲,并带回霍光。