霍去病的事业正在蒸蒸日上，相较之下，卫青则有日暮途穷迹象。虽然如此，这一对舅甥相偕升为大司马，成为汉帝国军的重镇。经过元狩四年之讨伐后，匈奴势力已大为减弱，再也没有侵犯汉边境的力量了。
虽同为汉军之中领导阶层的重量级人物，但他们的交情非常好，一方面是由于亲戚关系，而更主要的一点在于两人的个性相异。
话说：“两雄难并立。”但卫青和霍去病却相处得极融洽。在军中受欢迎的程度，则以霍去病较高。
但若就做人而言，则卫青较为优秀，只是，他的个性较为阴沉。这或许是在少年时代曾经有过做奴隶经历的缘故吧。
元朔六年之役，曾经有过右将军苏建与匈奴军遭遇、虽然力战却丧失全军、结果只身杀出血路逃回之事。
议郎周霸于是向卫青进言道：“大将军从未有过处斩部将之事。苏建现在犯的是丢弃全军之重罪。大将军应将其处斩，以示威严。”
对此，卫青却回答：“我的确有处斩部将之权力。你说我应该表示威严，事实上，凭我是皇帝的姻亲这一点就已足够，不必再靠处斩部将来增加威严。关于处分苏建一事，我会将详情奏报陛下，恭请陛下裁决。”
苏建后来以巨款赎罪，得免一死而被降为庶人。
据说，苏建过去有一次对卫青说：“你虽然位极人臣，但士大夫对你的评价似乎不很高，这是因为你不学习古时名士招贤为客之作风的缘故。你应该广开大门，多招请有能之士才对。”
结果，卫青回答：“广招贤者是陛下做的事情，不是人臣该做的事。”
苏建将此事告诉司马迁，司马迁则将之记载于《史记》中。
沉默寡言而不欺骗人，被李广的儿子李敢殴打也不吭气，卫青就是这种内敛沉郁型的人。虽然他为人谦让，对部下极为体贴，人望却不高。他本人反而是一副担心自己人望过高的样子。
之所以未受士大夫阶层的欢迎，最大的理由似乎在于卫青是个文盲。可是，当过奴隶的人哪有时间读书呢？
相较之下，外甥霍去病从懂事的时候起就以天子姻亲身份被养育，所以好歹是个具备贵族性格的人。霍去病与文盲舅舅不同，当然识字。
霍去病于十八岁初次出征凯旋时，武帝曾经问他：“朕来对你讲解孙子和吴子兵法，你有没有意思听呢？”
对此，霍去病以充满自信的语气回答：“战事应该以随机应变为重。因此，我认为没有必要学习古时候的兵法。”
武帝听到后，眯起眼睛，十分欣赏这名年轻人。又有一次，武帝说要盖一幢房子给他，而霍去病却以恭谨态度回答：“匈奴未灭，我不想急着拥有自己的房子。”
武帝越发宠爱这名青年。
这位骠骑将军霍去病却以二十四岁英年去世。此时四十岁的武帝对这位青年将军之死极为哀伤，因而为其建造仿照甘肃祁连山（霍去病往年征战之地）的坟墓于自己的陵墓预定地附近。
比起舅舅卫青的内敛个性，霍去病的行径则较有旁若无人之嫌。以每次出征为例，皇帝必定会用数十辆车满载饮食之物赠予他。这么多的东西，一个人当然享用不完，他却宁愿让食物腐烂后丢掉，也不愿分给部下中许多闹饥饿的人。此外，也有过部下忙得疲惫不堪，而他却踢球取乐之事。
身为贵族的霍去病，一点也不知道士兵的痛苦和感情。
不过在朝廷中，比起个性沉郁的卫青，霍去病这种大而化之的性情反而较受欢迎。
霍去病死后，大将军卫青尚在世十余年。但这期间与匈奴未曾有过大规模战争，有的只是讨伐南越、使朝鲜降伏之类的战争而已。也就是说，擅长对匈奴作战的老将卫青，并没有发挥能力的机会。
卫青的存在，象征着国军之光荣。他甚少外出，家里也鲜有来客。这位大将军抱的是不必强出头的宗旨。奴隶出身且是文盲的他，或许担心因多管事情而泄露自己的底子吧？
我只有对匈奴的知识和打仗方面的能力——卫青对这一点知道得很清楚。他熟知有关匈奴的地理、心理、生活以及思考模式等，军事指挥能力更是强人一等。而对其余事情则全然不行。实际上，对不识字的他而言，这也是无可厚非的。
具有讽刺意味的是，卫青由于个性内敛，分量变得越来越重。大司马是与丞相、御史大夫并列的三公之一，而在卫青保持沉默的威严之前，连丞相都得敬畏他三分。
汉帝国坐第一把交椅的人，人人都以此指卫青。
武帝之姐平阳公主嫁给建国功臣曹参之曾孙曹时，并生有一子曹襄。只是，这位曹时是个多病的人，平阳公主甚为不满。她要的是生龙活虎般的男人。
——你不如回家乡好好静养吧！
甚为绝情的平阳公主竟然因而与其丈夫断绝婚姻关系，另外选择夫婿。今上之姐要择夫，对象当然得是朝廷中的佼佼者始可。
——人臣中的佼佼者当然是大将军卫青。公主之夫君非卫青将军莫属。
有人如此建议时，平阳公主呵呵大笑，嗤之以鼻：卫青以前是我家的奴隶，我外出时他担任的是护驾任务。他看到我还得跪伏地上，我能嫁给这样的人吗！
可是，再怎么物色也找不到比卫青更理想的男人。平阳公主最后还是选择往年自己家里的奴隶为夫婿。
武帝有三位同母姐姐，平阳公主是其中最年长的，和武帝在年龄上差距甚大。成为武帝皇后的卫子夫年龄不详，但依据推测，应该较武帝年轻一两岁。而卫青是卫子夫的弟弟。如此一来，卫青娶为妻子的平阳公主，年龄比他大了许多。
让任性而年长的妻子颐指气使的大将军——这样的情景光凭想象就觉得滑稽。
对武帝而言，妻子的弟弟成了姐夫。何况他和卫子夫所生的女儿更嫁给平阳公主与曹时所生的儿子曹襄。其间关系之复杂，连他自己都直摇头。
十六岁即位而于七十岁去世，武帝在位期间达五十五年之久。霍去病去世的元狩六年是武帝在位的第二十五年。如果要将武帝之治世分为前后期，那么，霍去病死而卫青成为象征性存在的这个时候，应是分界线吧。
前期在军事上有卫青、霍去病，在政治上有公孙弘、张汤、汲黯等名臣，后期则没有什么人值得大书特书。
其原因大概在于武帝是个独裁者。在独裁者之下，任何人都是难以出人头地的。
霍去病去世这一年，武帝年逾四十。卫皇后已成为昨日黄花，后宫里年轻美女多如云。
其时，被武帝宠爱的是李夫人。
这件事情又和武帝之姐平阳公主有关。卫皇后原为平阳公主府邸歌女之事已如前述。在府邸拥有专属乐团的平阳公主，对歌舞音乐当然在行。每次发现在歌舞上有天赋的人，她都推荐给宫廷。
一名叫做李延年的作曲家，也是由于平阳公主的推举而进入宫廷的。他把汉之宫廷向来偏阳刚之气的乐曲改为柔和曲调。据说，这些新曲曾经风靡一时。他是个音乐天才，不但会作曲作词，更会自唱。
一次，李延年做了下面这首歌：
北方有佳人，
绝世而独立。
一顾倾人城，
再顾倾人国。
倾城复倾国，
佳人难再得。
武帝听了之后，不觉叹息道：“世上真有这样的美女吗？”
卫皇后容色渐衰后，武帝在后宫寻遍美女，却没有遇到令他怦然心动的佳人。如这首歌的歌词所言，的确是“佳人难再得”！
听到武帝的喟叹，平阳公主道：“李延年有一个妹妹。这首歌好像是他为妹妹做的。”
“嗬……”
“要不要召来看看呢？”
“你就妥善安排吧！”
把卫子夫介绍给武帝的是平阳公主，而将李夫人推荐给武帝的也是她。
姑妈馆陶公主（于霍去病去世前一年死亡）也频频为弟弟景帝介绍女人。皇帝的姐姐好像是专司这类事情的。
看到李夫人时，武帝对她一见钟情。
——“佳人”不正是为这样的女人而产生的字眼吗！
武帝从此无日不与李夫人在一起，完全成了她魅力下的俘虏。
李夫人模样楚楚动人，但蒲柳之质的她，于生下皇子后得了绝症。
武帝于李夫人临终之前探望病榻，是一则很有名的故事。
李夫人这时候蒙着被，坚不露脸，以哀求声音说道：“望皇上好好照顾昌邑王（李夫人所生之皇子）和臣妾几个兄弟……”
或许这就是永别。武帝想再看一次心爱李夫人的脸，说来是人之常情。而李夫人却死也不肯从被子里露出脸来。
“话说，妇人不饰貌，不见君父。臣妾因久病而未施脂粉……”她更紧紧抓住棉被的一端。
“求求你再让我看一次你的容貌吧！这样，我不但会馈赠千金，更会让你的兄弟升官的。”武帝以几近哀求的口吻说。
李夫人依旧不肯从被子里露出脸来。
“肯不肯为我的兄弟加官，端看皇上的意思，请别再勉强我吧！”李夫人在被子里呜咽着。
武帝悻然走出病房。
事后，李夫人的女眷直数落她的不是。由于皇帝以外的男性不得进入后宫，因此，连李夫人的兄弟都不能来到她的临终榻前。在场的尽是李夫人的姊妹妯娌。
“你应该露一下脸，请皇上多关照我们一家人啊！皇上龙心大为不悦哩！”她们以责难语气说。
李夫人虽已气若游丝，却鼓起最后的力气说：“我就是想到我们一家人，所以才没让皇上看到我的脸庞。我是出身微贱的人，仅以姿色得到皇上宠爱。以色事人者，一旦色衰，所获垂爱不复从前是一定的。皇上渴望看到的，是我以前的容貌，而我由于久病，脸庞已变成如此丑陋。要是看到我现在这副病容，皇上难道不会由衷厌恶？在这样的情形之下，还会有照顾我的家人这个念头吗？不让皇上看到我的脸庞，完全是为你们着想的啊！”
听到李夫人这些话，女人们莫不放声大哭。
李夫人死后，武帝以皇后之礼为她举行葬仪。
武帝对李夫人的爱情似乎相当之深。后来，听说齐国一个叫少翁的人会招魂之术，武帝就命令他招回李夫人之魂。
《史记》记载此时的招魂对象是王夫人。不过，由对遗族照顾之情形来推测，武帝热爱到甚至想见亡魂的对象，应该是如《汉书》所记载的李夫人才对。
李夫人之子昌邑王名叫贺。这位刘贺于武帝之后的昭帝死后，曾经以继承皇位候补者姿态登场，结果却未能登基。