“这位年轻朋友，请等一下。”卫青因被喊住而回头望了一眼。这是他还年少时的事情。他看到坐在路旁捋着白须的一位老人。
“老先生对我说话吗？”卫问道。
“没错，我在对你说话。你有贵人之相，有这个面相的人非常稀罕。”
“什么叫做贵人之相呢？”
“将来至少会受封为侯……”
“侯？你是说王侯？别寻我开心吧。我是一名奴隶，主人不鞭打我，我就谢天谢地，此外我不敢有奢望啊！”
“不管你盼望或不盼望，这是你的命运。”
“老先生是算命先生吗？”
“年轻时我曾经学过命相之术，不过，后来犯了一件小罪，因而在此地过着囚犯生活，之后一直住在这里。我活了这么一大把年纪，从来没有见过像你这么特别的贵人之相。”
“老先生，你或许是年纪太大，眼睛花了。奴隶的儿子会成为王侯，你的命相术大概已经不灵了。哈！哈！哈！”卫青置之一笑。
这个故事也见史书记载，但真实性则似有疑义。依作者的推测，很可能是命运论者鉴于他的发迹迅速，基于“我早就料到”之类观点杜撰的故事。
这个故事里值得注目的一点是，卫青以“奴隶”自称。事实上，他的确是奴隶出身的人。
年轻时姿色撩人的卫老太太，曾经和许多男人发生关系，也生下许多孩子。她都把女儿留在身边。因为女孩子长大后可以帮佣赚钱，倘若姿色姣好，更有可能成为人家的姨太太。在卫老太太这样的母亲眼里，女儿是摇钱树。果然，卫子夫被在平阳公主府邸担任洗衣工作的母亲带到同一个地方做事，也因此而得到发迹机会。她后来不是成为人家的姨太太，而是成了皇后！
儿子们如何呢？
卫老太太几乎把所有的男孩塞给对方。
“这是你的儿子，应该由你带去。”
听她如此说时，男人大都睁圆大眼，露出讶异表情说：“这真的是我的儿子吗？”
但做过亏心事的这些人，都无法坚辞推托。
功利着眼的卫老太太当然不会随便和穷鬼发生关系。她委身的都是地主之类颇有资产的人。
地主的生活建立在奴隶的劳动上。由于奴隶是唯一的生产工具，身为地主的人为了防止其老化，非经常补充年轻奴隶不可。雇来就可以立即派上用场的奴隶价格甚高。而未成年的奴隶虽然在足堪使用之前需要一段时间，进价则低廉许多。
养年幼奴隶如同养雏鸡，只要喂以剩饭，哪怕是婴孩，总有一天会长大。实际上，当时买卖婴孩奴隶也是常有的事。
受逼于卫老太太的男人们，在把婴儿抱回家后当然不能对太太说这是自己的孩子。不过，他们可以用这样的话瞒骗太太：我买了这个婴孩。看起来很健康，而且价钱便宜嘛！
卫青经由如此过程，被带到可能是自己父亲的家。但他不是以儿子的身份生活，而是被当成奴隶。
虽然老子尽可能地隐瞒这件事情，但人言难防，久而久之，人们开始说这样的话了：奴隶孩子是骗人的话，实际上是他在外面的女人生的儿子！
听到这个风闻时，大为光火的是正室的儿子们：奴隶怎么可能是我们的兄弟！呸！
他们一方面吐口水，一方面虐待卫青。他们似乎认为自己的尊严因卫青的存在而受损。
卫青的命运因这个风闻恶化到极点。他被迫过着奴隶与私生子双重身份的痛苦生活。
对卫青而言，是主子也可能是生父的这个人是平阳一名地主。这个地方在今山西省，与其称为与匈奴接境，不如说它是匈奴与汉族的杂居地，较符事实。他在这个地方兼营农耕业和畜牧业。
“我不忍心看到青被虐待的样子。但从事耕作又非和大家在一起不可，不如把他调到牧羊区吧！这样，他可以和别人疏离一些。”
在这人大动恻隐之心下，卫青遂被调为牧童。
虽然不会再受到正室儿子们的迫害，但他被带往边地。这个地方也有匈奴人在经营畜牧业。而孩子们是最容易打成一片的，年幼的卫青很快便与匈奴孩子们要好。
过流浪生活的人，有其警惕心甚高的一面，但一般都颇为和蔼可亲，他们的好客也是出了名的。卫青也常被请到匈奴朋友的家中，接受招待。
他每日都在荒野上策马奔驰。骑马至较远处时，有时会遇到移动中的匈奴部族。身为牧童的他，穿的是分不出汉族抑或匈奴的服装。
“你是哪里人？”
对方以匈奴语发问时，他也以匈奴语回答：“我是平阳人。”
“那刚好。我们正要到平阳，劳驾你为我们带路，可以吗？”
“可以。”
卫青有时候在这样的情形下，与匈奴骑马兵团同路走过沙漠。
过了几年这样的生活后，他已熟知匈奴人对事物的想法和集团生活方式等。这不同于由见闻而得到的知识。
这是得和匈奴人一起生活多年才能体会到的实际经验。卫青对匈奴的认识，已成为自己血肉的一部分，所以，它已不是单纯的知识。
“以汉奴而言，你的骑马技术实在很高超。”
一名匈奴老人曾经如此称赞卫青。匈奴人是习惯以“汉奴”称呼汉人的。
一天，主人从农园来到。打从去年起，卫青已发现这名有可能是自己父亲的主人态度有些不自然。态度起变化的不只是他而已，连偶尔会见面的正室儿子们也不会像以前那样虐待卫青。
这是我已经长大的缘故吧？卫青心中如此解释。
来到牧场的主人开口就说：“你立刻动身到长安去吧！”
“长安？我干吗到长安去呢？”
“因为你母亲把你赎回了。”
“我母亲？可是，我喜欢在这里工作啊！”
他对尚未懂事之前就离开的母亲没有什么特殊感情。他由于听到传言而知道自己和这位主人的关系，但关于母亲的事情则全然不知。
“你的工作态度认真，这一点我很感谢你，其实我不想放你走，但我还是不得不如此做。”
“为什么呢？”
“因为发生了意料不到的事情——也就是说，你母亲发迹了……她现在是有权势的人啊！”
“权势？”卫青不太能理解这句话的意思。这个字眼他不是没有听过，但怎么想也无法和母亲联结起来。
“正确地说，发迹的不是你母亲，而是你姐姐。听说，她由于偶然的机会，到天子宫殿做事。起先她只是个为天子洗脚或伺候身边的侍女……但后来受到天子宠爱了。”
“这……”卫青听到这件事情当然是头一遭。他连自己有个姐姐都不知道。
“开始的时候，她只是侧室，但天子越来越喜欢她，现在找她的次数比找皇后的次数更多……话说母以女为贵……我怎么能不让你的母亲赎回你呢！她是有天子作为后盾的人啊！”主人说毕，若无气力地泛出了微笑。
原来如此……卫青这才明白事情原委。
这些日子以来，主人正室的儿子们对自己变得客气，原来是这个原因——他们还多次主动打招呼呢！
他们的态度随着姐姐受天子宠爱的程度加深而起变化。起先只是有所顾忌吧？
“这个家伙的姐姐侍奉在天子身边。这类女人迟早会被甩掉，但起码目前，得对他客气一点……”
“而天子对他姐姐的宠爱越来越深，听说这个女人日后有可能成为皇后。”
“要是继续虐待卫青，我们以后会吃不了兜着走的。”
他们甚至有一种恐惧感。
离开平阳之前，卫青曾到一位匈奴朋友家去告别。这位朋友的父亲拍着他的肩膀说：“听说你要到汉都。汉灭亡后，你随时回来吧！”
“什么？汉会灭亡？”卫青听到对方说的话而讶然。
“我偷偷告诉你……”友人的父亲压低声音说，“听说汉准备出其不意地攻击匈奴，匈奴单于极为光火，因而决心先下手为强，现在已经开始招兵买马了。”
“这不是很要命的事情吗？”卫青说。
“怎么会要命呢？我们匈奴的骑兵团是所向无敌的。我们将夺得汉土，使它全部成为牧草地，可以养几百万头羊和马。人们不是能因此而过更好的日子吗？”
这位朋友的父亲似乎忘记了卫青是汉人这个事实。换句话说，卫青和匈奴人交心达到了这个程度。
“你说的出其不意地攻打匈奴，指的是怎么一回事？”
友人的父亲对这件事情简单扼要地做了说明。
汉领马邑（山西省）有一个名叫聂壹的人。这个人以贩卖汉的物资给匈奴为业，也就是所谓的走私商人。由于生意上的关系，他时常到匈奴领地。
这个聂壹一次谒见单于时，用这样的话引诱单于：
——下次回去，我会把汉族县官杀光，你就派大军来接收吧！马邑有无数丝布和谷物。你不但可以不折一兵半卒就取得该地，还能获得这么多物资啊！
不折损一兵半卒就取得一个县……军臣单于当然为之心动。由于和聂壹认识已久，他完全相信对方说的话。
后来才知道这是诱敌入彀的战术。
军臣单于率领十万大军，前往马邑。
原来聂壹是受汉将王恢密令所指使的。汉动员三十万大军，埋伏在马邑附近的山谷里。汉军的计划是，等匈奴军进人马邑后，立即将之包围，并且生擒单于。
聂壹把死囚首级成排挂在城壁上，匈奴军侦察队将校因而向上级报告：马邑的叛乱似乎是成功了。
军臣单于一边进兵，一边觉得纳闷。好像事有蹊跷。
遍地都是牛马和羊群，却望不到半个人影。这里应该有放牧的人，怎么不见这些人呢？莫非这些人受命撤离此地？倘若如此，为什么？难道是汉军准备展开作战？
其中似乎有诈……军臣单于起了疑心后，在行动上格外慎重。
三十万汉军中，有一些人的埋伏技术较差。一个在望楼附近晃来晃去的汉军为匈奴军发现，并被带到单于面前。
由于极端恐惧，这名将校把汉军的计划全都说了出来。
“好！我非给他们颜色瞧瞧不可！”军臣单于狠狠地说了，就立刻命令全军后退。
匈奴决定要加强对汉的攻击，是因为有过这件事情的缘故。