大业八年，李渊担任扶风郡太守，马厩里养了五匹骏马，每天骑了显摆。老婆窦皇后跟李渊说，杨广也喜欢玩鹰骑马，这你知道。现在你有好马得赶紧献给他，不可久留。如果被别人说了你有好马的事，你就被动了，很可能因此获罪，你仔细想想。道理李渊明白，可舍不得啊。自古以来美女骏马是英雄标配，项羽有虞姬乌骓，吕布有貂蝉赤兔，李渊也是大英雄，也爱，就拖延了一阵子。
不出所料有人在杨广面前告了他一状，杨广果然大怒，好你个李渊，有好马不给我，几个意思。就把李渊叫来大骂一顿，还扬言要杀了他，李渊赶紧麻利把骏马献了上去，没几天窦皇后病死了，李渊这才觉得亡妻的话有理，为了生命安全，四处收集猎鹰骏马献给隋炀帝，于是在大业十二年被提拔为右骁卫大将军，负责京师守卫。李渊回家哭着对几个儿子说，我要是早听你妈说的话，早得到这个官位了。
也就在此时李渊有了反隋之心。宇文士及是唐朝开国重臣，此时和李渊是好朋友，两人在一起常常讨论反隋事宜。李渊当了皇帝后跟裴寂等人说，你们不要以为你们是跟我谋划起事最早的功臣，其实早在大业九年我跟宇文士及就讨论过这件事。（高祖笑谓裴寂曰：“此人与我言天下事，至今已六七年矣，公辈皆在其后！”）所以李渊并不是在晋阳宫睡了杨广女人怕杨广怪罪才要造反的。当然杨广的女人肯定不能碰，李渊自己的马杨广都要，现在碰了他的女人，这不纯粹找死。只能说晋阳宫人之事只是李渊起兵的导火索和催化剂，而不是主要原因。李渊的狼子野心蓄谋已久了。
促使李渊造反还有一件事。杨玄感造反后，杨广不相信朝中任何功勋大臣，李渊也在猜忌之列。李渊在弘化郡镇守时终日结纳豪杰，多树私恩，杨广知道后就派人叫来长安汇报工作，但是李渊不敢去，很怕，就说生病了，也可能那几天真的病了。他的外甥女王氏正好在后宫侍奉杨广，杨广就问，你舅舅为啥叫他这么长时间不来。王氏说我舅舅病了，好点就来。杨广说，病的有多厉害，是不快要死了，死人不用来。李渊听了差点吓死，也不结交豪杰了，终日喝酒泡妞，每天让人打探隋炀帝消息，隋炀帝干啥他干啥，隋炀帝爱啥他爱啥。杨广一看，这个李渊挺识相，跟的挺紧，于是放了他一马。
李渊在太原，每天让几个儿子结交豪杰，自己也培植私人势力，时刻图谋造反，就是等一时机。隋炀帝下了江南，中原李密起事，交通断绝，朝廷号令传达不过来，李渊其实万事俱备只欠东风，谋逆之心犹如司马昭了。至于裴寂给他弄两个女人睡一下然后逼的他起兵造反了，要么是李渊和裴寂演了一出双簧戏，要么是李世民后来改了史书，为了证明太原首义是自己的功劳，没李渊什么事。所以李渊造反不是因为晋阳宫的两匹胯下胭脂马，而是扶风郡的五匹胯下骏马。虽然都是马，都是用来骑的，但不是一回事。