绍兴五年（1135年），岳家军的规模从三万多人的规模增加到十万人左右的规模。这是因为杨幺军的壮丁五、六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部（约八千五百多人），和此后增拨的统领丘赟所部（近一千五百人）；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部（约一万多人）；以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。岳家军以后也大体维持十万左右这个数量直到岳飞被宋高宗和秦桧所害。
　　
　　岳家军至少有十二统制“军”：1。背嵬军；2。前军；3。右军；4。中军；5。左军；6。后军；7。游奕军；8。踏白军；9。选锋军；10。胜捷军；11。破敌军；12。水军。其中背嵬军是绝对主力，名字学自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其它军名都是增长士气的军号。
　　
　　据绍兴九年（1139年）统计，这十二军共有22名统制、5名统领和252名将官分别率领，其中有正将、副将和准备将各84名。王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战，此五人是岳家军的中坚人物。［