公元960年12月，在平定叛乱之后，赵匡胤从扬州凯旋，回到都城开封，提升亲信谋士赵普为兵部侍郎兼枢密副使。
　　
　　这时候大家都明白，赵匡胤已经坐稳了江山。但是奇怪的是，赵匡胤本人却一反常态，变得整天无精打采。有人问他怎么了，他就摇头叹气，显得非常苦恼：“你们觉得当皇上挺容易是不是？唉，比我当节度使的时候差得太远了……”
　　
　　这些都被站在远处冷眼旁观的赵普看得清清楚楚。等到没人的时候，他慢慢走近赵匡胤：“您到底怎么了？”
　　
　　赵匡胤这才说出了心里话：“我在想一件事，你说为什么从唐朝末年到现在，不过50多年，当皇帝的都换了这么多姓氏了？”
　　
　　不料赵普马上就向他深深一揖：“陛下，这个问题一点都不难办，只要您能定下一个合适的制度。”
　　
　　赵普说：“唐朝的崩溃，以及五代十国的纷乱，都只有一个症结，那就是方镇太重、君弱臣强。若想根治，只有削夺兵权、制约钱谷、收其精兵，从根本上打消所有人的妄想，之后天下才能自然安定。”
　　
　　一语道破天机，史称赵匡胤恍然大悟，没等赵普说完就打断了他：“爱卿可以闭嘴了，朕都明白了。”
　　
　　说干就干。961年3月，除宋太祖赵匡胤本人之外，宋朝最强的军事人物——禁军殿前都点检慕容延钊和侍卫司马步军都指挥使韩令坤进京述职。这两人来时满心欢喜：这些年来为赵匡胤东征西讨，怎么算他们都是有功之臣，应该再加封赏吧？
　　
　　结果等他们一到京城，赵匡胤就下令——罢免慕容延钊殿前都点检一职，出任山南东道节度使；罢免韩令坤侍卫司马步军都指挥使，出任成德节度使。
　　
　　等他们再次出京时，才知道韩令坤的侍卫司马步军都指挥使一职，由更亲近皇帝的石守信来接任，而殿前都点检这个职务被收入了宋朝的历史博物馆里，由老东家赵匡胤独家珍藏，谁也不给了。
　　
　　历史证明，石守信的快乐是多么的短暂，侍卫司马步军都指挥使这个高位，他只坐了100多天。
　　
　　7月间，没有任何的预兆，宋朝国家安危的根本支柱——禁军里的高级官员们突然间被大面积地罢免。能够想像当时外界有什么样反响吗？其时，南唐、后蜀、北汉、吴越等国家都还与宋朝并存，虎视眈眈；突然之间一个国家的军队首领几乎全部罢免，一定是发生了什么血腥政变。
　　
　　但是实际上，至少在史书文献的记载里，事情进行得波澜不惊。
　　
　　能够查到的资料里，都是这样记载的——7月的某一天晚上，赵匡胤下了晚朝，把石守信等亲信都留下，邀他们到内宫喝酒。喝到兴头上时，赵匡胤突然非常不快乐，说：“要不是你们，我做不了皇帝。可是我现在难受，没一个晚上能睡好觉。”
　　
　　石守信等人问怎么回事。
　　
　　赵匡胤的回答直指要害：居此位者，谁不欲为之！
　　
　　以后的事就可以简单地归纳为石守信等人伏地请罪，而赵匡胤宽大为怀，给他们指出条活路，即“释去兵权，出守大郡”，并赐予大批金钱田产、歌儿舞女……到第二天，史称石守信等人“称疾请罢”。
　　
　　以上就是被世人大肆称道的宋太祖仁政之一，“杯酒释兵权”。千年之间，无论怎样细查，怎样怀疑，至今也没有谁能发现并证明这件事是假的。于是没法不称道赵匡胤真的仁义了，比之刘邦、朱元璋那样大杀开国功臣，他真是好得太多了。
　　
　　赵匡胤的智慧让人没法不佩服。历史证明，“杯酒释兵权”仅仅是他改良军队的前奏，后面的事才是他治军之道的精华。
　　
　　通过改换领导，殿前的都点检、副都点检都已经不复存在了。而到了962年9月，石守信的侍卫司马步军都指挥使一职也被罢免且从此撤消，并且从此把马军与步军分开，使他们各自为政。从这时起，从五代以来一直对立，互相牵制的殿前、侍卫两司就变成了殿前司、侍卫马军司、侍卫步军司等“三衙”，其长官就是后来宋朝军中统称的“三帅”——殿前都指挥使、侍卫马军都指挥使、侍卫步军都指挥使。
　　
　　而这仍然不够，赵匡胤在“三帅”之下又设制了“四卫”，即属殿前司的铁骑军、控鹤军；属侍卫马军司的龙捷军；属侍卫步军司的虎捷军。这“四卫”下面再各设四厢都指挥使，进一步剥离四卫的兵权。
　　
　　这还是不够，兵权如此细分，赵匡胤认为还是有危险。他进一步规定这些“三帅”、“四卫”仅仅拥有“握兵”之权，平时负责训练；要“调兵”，只能去找枢密院；而枢密院也仅仅是皇帝的喉舌，只能接受皇帝的命令，然后由它发布由哪位将军具体“统兵”。
　　
　　由此，军中三权分立，无论谁也没法直接掌握一兵一卒。
　　
　　赵匡胤的改革大功告成。