事情演变成了这个样子，杨广自然是懊恼之极，诸如竹篮子打水一场空、偷鸡不成蚀把米、给他人做嫁衣等等歇后语都可以用在他的身上，能不懊恼么？
他不仅懊恼，而且已经到了暴走的边缘，只是在宫中发作不得，回到晋王府，一进厅堂就沉下了脸，把气撒在了跟随而来的李智云身上：“你不跟着你父亲一起离开长安，来我这里干什么？”
从长安到幽州北平，太原是必经之路，李智云跟他即将迁往太原的一家人是顺路，所以杨广有此一问。
李智云笑道：“我还有三个人在岳父你的府上呢，我过来是要带他们走的。”
即使明知道杨广会扣留尤翠翠做人质，自己也要试一试，总不成把翠翠姐扔在这晋王府就不管了，那样如何对得起自己的良心？
杨广根本不屑于答复李智云这个请求，只冷笑道：“你不觉得你知道的事情太多了么？”
他所谓的知道的事情多，既不是指李智云懂得外语翻译了渊盖苏文那封信，也不是指李智云巧解了那首儿歌，而是指李智云知道了他要刺杀太子的计划。
既然李智云已经不能作为刺客来使用，那么他的生存就成了自己集团的最大威胁，因为他随时都可以告发自己一伙人的阴谋，不用告诉别人，只需告诉李渊，这事情就能传到当今帝后的耳朵里，那不是要了血命了？
而且就算他此时把这桩秘密埋在心里，等到日后自己继位成功，他也是捏着这样一桩丑闻在手，这样的人能留么？
问题就在于眼下没法杀人灭口，至少在长安城里不能这么干，在这种情况下，你还想索回人质，那不是痴心妄想么？
李智云当然知道杨广指的是什么，无奈道：“没错，我知道的事情是很多，可是这能怪我么？我并没有拒绝你的要求，是圣上临时做出的决定，我是不敢抗旨不遵，你敢么？”
杨广冷笑道：“本王当然不敢，既然你什么都明白，还找我要什么人？那两个江湖武士可以跟你走，至于那个姓尤的女子，就把她留在本王这里吧，等你调查了罗艺回来再说。”
杨广在回来的路上已经考虑了一路，打算在半路上把李家父子全部杀掉，然而此时李智云看似不想跟李渊一起走，这也没啥，就给坐镇幽州的武奎武亮写一封密信，让他们在幽州设法杀死李智云好了。
留有人质的目的在于，可以要挟李智云在这一段时间里不把自己的秘密泄露出去，直到他变成一个死人。
李智云不知道杨广已经对他起了杀心，不过他也不会把这个杀父弑兄的野心家当成好人，以后小心就是了，只是对方不肯放尤翠翠跟自己走却在意料之中，便也不再勉强，说道：“留在你这里也不是不行，但是你必须要保证她的安全和健康，不能让人欺负她。”
听到李智云这个说法，杨广一如之前羽裳的态度，冷哼一声说道：“就你这女伴的模样，想让人欺负她都难，等她伤愈，本王就让她去管那些王妃的侍女好了，这个安排你满意不？”