八月，李渊以四子李元吉为太原留守，以长子李建成为左军，以次子李世民统右军，自率中军，从太原向长安挺进。一路顺利，“义旗之下，每日千有余人，论赏功勋……百计千端，来从如云，观者如睹……人人得所，咸尽欢心”，很有天王巨星风采，几乎是“有征无战”，兵不血刃。
一直开到霍邑（今山西霍县），李渊才遇到平生第一块难啃的骨头——隋将宋老生。
霍邑地形险要，西北抗汾水，东临霍太山，而且，宋老生手下有精兵二万，非一般隋兵可比。同时，隋廷又派左武侯大将军屈突通统辽东劲率数万于河东（今山西永济），与宋老生遥为呼应。
时值秋雨淋漓，双方均无法开战，战事胶着，最着急的当属李渊部队。《旧唐书》、《新唐书》均有类似记载：“会久雨粮尽，高祖与裴寂议，且还太原，以图后举。”李世民力谏，表示义军一定要先入咸阳，才能号令天下。如遇小敌即班师，示敌以弱，随从兵士肯定马上会心乱解体，“众散于前，敌乘于后，死亡须臾而至。”李渊不听，下令催促兵众调头回太原，李世民见状大哭，苦劝，最终让李渊回心转意，决意攻城。但是，观温大雅的《大唐创业起剧注》，乃是李渊先分析天下形势，而后征求大郎（李建成）、二郎（李世民）意见。兄弟俩皆表示：“（宋）老生轻躁，破之不疑。定业取威，在此一决……雨罢进军，若不杀老生而取霍邑，儿等敢以死谢！”此段话语，百分之九十的可能是由李建成说出，何者，古人重礼，自然是长子先发言表态，然后才能轮到李世民接碴。到了后来，太宗臣下编史书，当然都把定策的大功皆记在李世民一人头上。
李渊当时闻言而喜，马上表示，“尔谋得之，吾其决矣”，显示出李渊本人也是如此思忖，并非象新旧唐书所载是他想窜回太原。
战前，还有一段小插曲可述：李渊忽然接到刚刚杀了翟让自立为头领的瓦岗寨李密书信，信中语意夸诞，大谈“以天下为已任”，表示要与李渊交结合兵，纵横天下。实际上，此信既是试探，也隐含威胁。为了麻痹李密，李渊卑辞下意，回书李密，“鼓励”对方正应图谶，并肉麻地大肆吹捧一番：“天生蒸民，必有司牧，当今为牧，非子而谁！老夫年逾知命，愿不及此。欣载大弟，攀鳞附翼……”称兄道弟，甘愿为下。李密见信，非常高兴，并拿信向部下显摆：“唐公见推，天下不足定也！”由此，“注意东都，无心外略”，李密集中精力对付洛阳周围的军事势力，李渊就暂时又少了一个危险的对手。另外，李密傻不几几把“李氏当为天子”的谶言自揽上身，成为众矢之的，倒成全了“缓称王”的李渊。而且，在运用道教影响方面，李渊也是棋高一招，依靠“李氏为天子”、“老子当度世”的图谶，李渊尊崇老聘，当时天下信道教的徒众很多，自然始祖李耳与李渊一笔写不出两个“李”字，而李密却忘了把自己的“李”往李耳身上拐靠。
不久，天色转晴，秋雨忽止，太原军粮又及时运到。阴历八月辛已，李渊义军晨起行军，从山道急行军七十余里，直奔霍邑杀来。温大雅的描写既诗意又传神：“初行之，雾甚，俄而秋景澄明”，良辰美景，不能不让人心头为之一振。
霍邑一战，李渊亲自指挥，并率先统左右轻骑数百，先至霍邑城下观察敌情。立营之前，李渊又派李建成、李世民各带数十骑驰至城下，“行视战地”。
宋老生凭城眺望，认定李渊义军是想紧挨城墙扎营，就亲自率兵出城来迎，分别从东门、南门两道而出。李渊恐怕宋老生“背城不肯远斗”，就先下令李建成领左军准备赴东门，命李世民带右军赴南门。同时，李渊又令中军往后小缩，作出怯敌欲退的姿态。
手中握有近三万生力军的宋老生见李渊兵阵回退，顿时来了精神，很想乘势迫击，一举击破。他远离城门口，带头冲出一里多地后，下令整队准备进攻。
宋老生隋军直向李渊中军杀来，而当时在师旗下面马上高坐的根本不是李渊，而是李渊部将殷开山。义军以数列整厚方阵迎敌，与宋老生主力中军展开厮杀。此时，隋军的注意力全部集中于殷开山一部。殊不料，李建成、李世民两人领骑兵忽然从左右突出，依照李渊先前吩咐，分别杀向霍邑东门和南门。“义兵齐呼而前，红尘暗合。鼓未及动，锋刃乱交，响若山崩，城楼皆振。”
隋军本来战斗力很强，忽然看见唐军骑兵从身边飞一样掠过直奔自己老窝，皆顿时心慌。没多久，李渊又让军士鼓噪，高呼“宋老生已经被杀”，隋军闻知大将被杀，全都乱了手脚，无头苍蝇一样左突右撞，溃不成军，“舍仗而走，争奔所出之门”，但两个城门的进路均为李建成、李世民兄弟率精兵堵住，迎头射箭，刀砍矛捅，死伤无数。
宋老生本人也被败兵夹裹，左冲右撞。见两个大门方向都被堵住去路，宋老生腿快，跑到城墙边，仰脸高叫守城隋兵放下绳子，准备拽住绳子爬上去。城上守兵扔下大绳，宋老生丢下手中大刀，拼命往上爬。无奈，重甲坚盔，攀爬速度大受影响。说时迟，那时快，唐军已经追杀而至，一个名叫卢谔的小队长跳起一刀，斩断宋老生一只脚。大叫一声，宋老生因痛坠地，未及说话，大刀又下，脑袋又搬家。
李渊命兵士把宋老生的首级挑在长矛上，在战场上驰骋示众。于是唐兵“随所向奋击，禁不可止。数里之间，血流蔽地，僵尸相枕。”时已日暮，李渊见战士斗志正锐，就下令攻城。“时无攻具，肉薄而上。”如此坚厚的霍邑，竟然被唐军在没有任何攻城器械的情况下，凭一股冲劲和不怕死的精神，一举攻克。
如此苦战，到了太宗史臣笔下，却变成这个样子：
“太宗（李世民）恐（宋）老生不出战，乃将数骑先诣其城下，举鞭指挥，若将围城者，以激怒之。（以显示李世民孤胆英雄）老生果怒，开门出兵，背城而阵。高祖（李渊）与建成合阵于城东，太宗与柴绍阵于城南。老生麾兵疾进，先薄高祖，而建成坠马，老生乘之，高祖与建成军咸却（不惜把李渊、李建成描写成胆小鬼。战中坠马，死亡近乎百分百，即使不被敌人杀掉，也会被自己人踩死）。太宗自南原率二骑驰下峻贩，冲断其军，引兵奋击，贼众大败，各舍仗而走（完全是小说传奇，李世民三骑冲锋，挽狂澜于既倒，好象他是真正的军神和救星）。……”
仔细揣摩，可见太宗臣下所写，水分太多。
攻克霍邑之后，李渊安民慰众，招遣降兵，对被俘的隋兵隋将一律优待，“还取其同胞同党，自相统处之，不为疑异。”本来隋军同唐军就无什么深仇大恨，那些本身是关中人想回家的，李渊也“授五品散官放还”，连宋老生也被光荣礼葬，毕竟是死于所职的忠臣。“内外咸悦，咸思报效”。
这一仗关键，李渊不仅稳固了内部，对外又显示了“宽仁”，“自是以后，未归附者，无问乡村堡坞，贤愚贵贱，咸遣书招慰之，无有不至。”
“好事”连来。刘文静、康鞘利等人在龙门县也与李渊会合，并带来五百突厥大个骑兵和两千多匹好马。“帝（李渊）喜其兵少而来迟”，突厥兵少好控制，迟来可喜者，如果早先这些雇佣兵如果加入进攻队伍，一来造成“民族”矛盾，二来胡人肯定觉得唐兵是凭侍自己的加入才取胜，漫天要价，不好打发。
拨掉霍邑这块大绊脚石，下一个目标就是镇守河东城的屈突通了。
屈通突不似宋老生轻躁，久经战阵，老谋深算，加上他深知当时天下大乱，人无固心，便不轻易出战，固守河东坚城。此城“城高甚峻，不易可攻。”
唐军一路无敌，将士勇而骄，争前要再显身手，准备重演霍邑“肉薄登城”的好戏。李渊也心存侥幸，就派千余唐兵攻南城。“时值雨甚，帝命旋师。”温大雅不好说唐兵打不过屈突通隋兵，就以下雨为借口，掩饰唐兵的败退，并记下李渊的自欺欺人之语：“今且示威而已，未是攻城之时。杀人得城，如何可用。”简直就是白日大谎。当时，李渊肯定急得跳脚，恨不得插翅飞上河东城城墙。
幸亏裴寂、李世民等献计，唐军沿河北进，自梁山（陕西韩城）、龙门（山西河津）分别渡河。同时，仍留军士于河东城下，与屈突通相持，以防这位隋将蹑后追击。
此计果然棋高一招。唐军主力舍河东城不攻，不仅保持了大量生力军，还一下子顺利进入关中。大喜之下，李渊令李建成、刘文静入据永丰仓（陕西华阴），扼守潼关；又令李世民沿渭水急行军，直扑长安都城。此时，李渊的堂弟李神通、其女儿女婿（柴绍夫妇）等人纷纷率兵赶到。众人拾柴火焰高，一路收降各处“贼军”，滚雪球一样越滚越大。各路唐军齐集长安城下时，已经有二十多万人之巨。把都城铁桶一样围得个水泄不通。
长安城内，代王杨侑年少不主事，留守的刑部尚书卫文升、右辅翊将军阴世师等人乃大隋忠臣，誓死守城，任凭李渊诱说百端，终不为所动。李渊帐下诸将，皆想立功，多次攻城，均因长安城墙高坚而未得手，死伤不少人马。当然，这数次攻城败退，在温大雅笔下，皆变成是因为李渊“仁德”，不忍自己下令集中攻打“旧主”之都城，不忍惊犯“七庙及代王并宗室支戚”。
即使是最后的血战总攻，温大雅也写成是各路义军“咸自逼城”，“帝（李渊）闻而驰往，欲止之而弗及”。明明是李渊总指挥，倒变成他事先不知道总攻令，想阻止又来不及了。此种鬼话，真连三岁小孩子也骗不过。所以，读中国的历史，一定要持有清醒的头脑去“研读”，字里行间里找线索，读者先行树立自己的主观逻辑性和基本判断力，否则，必为史书记载所误导。
城破。“帝乃遣二公率所统兵，依城外部分，封府库，收图籍，禁掳掠……一依汉初入关故事，”三大纪律，八项注意，果然是有教养的贵族出身，不似一般贼盗，入京后大掠奸淫。由于痛恶阴世师等人凭城抵据，又恨这些隋官奉炀帝之命挖刨自己家几代祖坟，李渊下令杀掉这几个大官，（卫文升先已病死），“余无所问”。
众将皆推李渊为尊。这位唐公老奸巨滑之人，仍旧推托观望，暂时拥立少年代王杨侑为帝，改大业年号为义宁元年（公元617），“仍遥尊后主（杨广）为太上皇”，作足了“仁义”的表面宣传功夫。至于李渊自己呢，就以杨侑名义任为“假黄铖、使持节、大都督内外诸军事、尚书令、大丞相”，并进封唐王。