由于刘章的走近，韩信就感觉到自己的处境有了明显变化，一些不曾来往的人也登门拜访了，原先一些旧属逢年过节也提着礼物来看望自己。
一天，灌婴请韩信赴宴。灌婴一直跟随韩信南征北战，是韩信比较信任的帐下大将，他犹豫了一会儿还是给了灌婴面子。
韩信来到灌婴府邸，一看樊哙、周勃、夏侯婴他们也来了，顿时不悦。酒过三巡，韩信看着他们有说有笑的样子，更是感觉别扭。
夏侯婴最早给高祖驾车牵马，现在也被封为侯，而且深得高祖信任，在朝廷同僚中左右逢源，官运可以说顺风顺水。他见韩信闷闷不乐，端起酒杯前来敬酒，韩信根本没有理他，端着酒杯独自饮罢。夏侯婴很没有面子，把酒杯狠狠放在了桌几上，撒了一地。
樊哙与高祖交情最厚，又是连襟，他仗着这层关系，加上性格使然，一直眼里揉不得沙子，说话直来直去。他端起酒杯走到韩信面前道：“淮阴侯，给我个薄面，敬你一杯。”
韩信照样没有搭理他，甚至斜视了他一眼，便道：“没想到我韩信竟然与你们为伍了，唉……”没等他把话说完，樊哙把酒杯一摔，怒道：“你算个什么鸟儿，现在与我们同样为侯了，还牛什么牛？别老认为自己天下第一，没有皇上的英明决策，没有子房的先生的运筹帷幄，没有萧丞相的供给保障，没有我们这些兄弟拼死拼杀，你自己能打败项羽吗？你仗着皇上赐你汉王剑，得意忘形，现在还不是给弄丢了？还牛什么牛？啊呸！”樊哙说着瞪了灌婴一眼：“你请了一个什么东西！”说罢转身扬长而去。
“别不识抬举，我们能来陪你，是给你面子。”夏侯婴立即起身也走了。周勃也瞪了他一眼，气呼呼地也走了。
“哎哎，你们别走啊……”灌婴想拦也拦不住了，不由得愤恨起韩信来，但又不好直说，只好独自饮酒。
韩信看到大家如此羞辱自己，把气都倾泻到了灌婴的头上：“你请这些人，你早说啊？！”
“我，我也是好意，大家同朝为官，以前也曾在一起打过仗。”灌婴想解释。
“哼，”韩信根本不服气道：“他们算什么？能与我比吗？一个马夫，一个杀狗卖肉的，还有什么本事啊？他们要是能行的话，为什么皇上还派人三进我营，封我为王，予我汉王剑啊？靠他们能打败项羽吗？简直是笑话！”
灌婴没有想到韩信还这样自负，他当然也听到了韩信被吕虎羞辱的事情，此时，对韩信的做法又气又怜，要不是自己多年的老上级，他真想把他请出去，可是，他还是忍住了，“淮阴侯，此一时彼一时，在下劝您现实一点好。”
“你什么意思？”韩信听出了灌婴的意思，不满道：“你要我给他们磕头作揖吗？难道连你也看不起我了吗？是，我现在命运不济，但我不在乎！我不需要你同情、可怜，我只希望你别落井下石就好了！”
“淮阴侯，你--”灌婴没有想到韩信会这样看待自己，自己这不是好心请他反而赚了一身不是了吗？后悔请他了。
韩信根本不管灌婴的感受，继续说：“我有刘章公子一个知心就足够了，你们这些人，跟我不配！”说完起身就走了。灌婴也没有起身以礼相送，朝着韩信孤独、瘦削的背影说：“唉，自己不给自己留脸，何况外人？”
韩信除了与刘章谈兵论阵外，再不想见其他人了，整日在院子里摆弄他的石兵木马，嘴里不住的喊着：“杀杀，冲冲……”家人也不敢靠近他，放任他这样疯狂下去。
这天，吕沣突然来访，韩信连睁眼都懒得睁眼看他。“淮阴侯，别来无恙啊。”
韩信没有说话，继续“杀杀，冲冲……”
“哈哈，淮阴侯还是怀恋军营里的生活啊。”吕沣奸笑着说。
“杀……冲……”
吕沣来到韩信身边，说：“淮阴侯，在下有门客，整日闲暇无事，我看不如送到你这里，你给调教一下，说不定将来会有用处呢。”
韩信一听有人可以调动，总比这些石子、草木强吧，就动心了，忙问：“有多少人？”
“人虽然不多，但也有四五百人，可是他们都是活生生的人啊，总比你这些石兵木马强吧？”
“那好呀，你马上给我送来，多多益善。”韩信不假思索地说。
吕沣发出开心的大笑：“哈哈，淮阴侯还是不减当年啊，多多益善，多多益善啊。”
当然，吕沣不会明着把四五百人直接送到韩信府中。
吕沣把吕产和吕虎叫进前厅，说：“产儿，给我从你大营中，寻觅四百人。”
“找这么些人做什么呀，爹。”吕产觉着奇怪。
吕沣说：“我送给淮阴侯。”
“送他做什么呀？再说了，大营里的士兵都在太尉署注册登记的，没有皇上的虎符，谁也调动不了一兵一卒。”吕产说。
“哈哈……”吕沣捋着胡须说：“你有所不知，韩信在家闷得慌，弄了一些石子、木块当士兵，我何不送他一些真士兵？”没等他说完，吕产连连摇头说：“爹爹，不好办。”
“你就是死脑筋，我要的是那些平日里调皮捣蛋、偷鸡摸狗的被开除或者被淘汰的。”吕沣刚说到这里，吕虎立即明白了，说：“爷爷，你就是想找一些地痞流氓送给韩信，然后让他们寻机闹事，最终目的是找韩信谋反的把柄呗。”
吕沣一听就连连点头，指着吕产的鼻子说：“你看看，说嘛还是将军，还不如你儿子聪明。”
吕产连连点头：“是是是。”
吕虎听见爷爷夸奖自己了，更加得意，说：“爷爷，这好办，城里我有一帮混混兄弟，他们平日里欺行霸市，无恶不作，杀人放火做尽坏事是他们的专长，要多少有多少。”
吕沣大喜，拍着吕虎的肩膀说：“这样最好，你挑选四五百人，集中起来进行统一训练，不要一开始就耐不住性子，慢慢来嘛，啊。”
“我明白了，爷爷。”吕虎说。
吕沣接着说：“要选择一个挑头的，交代清楚让他什么时候做什么，按部就班一步步实行。”
“这么些人，不要一次送去，目标太大，容易牵扯我们，一次送几个人，这样目标就小了，不容易引起韩信的怀疑。”吕产插话说。
“嗯。”吕沣对吕虎说：“你爹说的有道理，照他说的做，千万别让韩信觉着我们别意用心。”
“明白，爷爷，我记住了。”吕虎答应道。
吕虎从家里出来，到了一个酒馆，见里面好热闹，喝酒、猜拳、赌博的做什么的都有。吕虎直接来到一个赌桌旁，将一个正在赌博的男子抓着领子就拎了出来，这个人叫毛然，他刚要动怒，一看是吕虎，忙吓得连连求饶：“公子，公子，你饶恕我几天吧，我现在实在没有钱，等我赢了就给你，一定还一定。”
吕虎将毛然拉到一个僻静处，小声说：“我今日不是来要帐的。”
“公子，那您……”
“你给我找四五百个混混。”
“找这么些人干嘛？”
“至于做什么，不管你的事，你只管找好了。”
“这……”毛然刚一犹豫，吕虎大眼一瞪，毛然连连说：“好办好办，一定办到。”
吕虎接着说：“你要是给办妥了，欠我的那些钱就一笔勾销。”
“是吗？那好，一定办妥。”毛然听了非常高兴，连连应允。
接着，吕虎又教给毛然一些注意事项和做法，毛然一一点头答应。
没用多长时间，吕虎就按照吕沣的交代，将四五百人陆续集合到了韩信府中。韩信仿佛如鱼得水，把院子里的石头、草木统统扫除掉了，发给这些人剑戟矛戈，整日拿着他们摆兵布阵，训练战法，以此来消磨时光。由于当时各个侯府都养着门客，此举并没有引起外人的怀疑。