杨素每次率兵出战前都会杀人立威
据史书记载，杨素每次作战前，都会“以斩立威”，先拿部队中那些违反军纪的士兵开刀，无论轻重，全部斩首。每次杀人，少则数十人，多则上百人，流血满地，以此“杀一儆百”，告诉士兵必须听令而行，否则必然军法处置。《隋书·杨素传》说：“素多权略，乘机赴敌，应变无方，然大抵驭戎严整，有犯军令者立斩之，无所宽贷。每将临寇，辄求人过失而斩之，多者百馀人，少不下十数。”
除此之外，杨素还有一个不近情理的地方，就是在每次两军对垒的时候，他都先派一二百人前去冲锋，如果取胜，回来自然重赏，如果打败逃回本阵，不论多少人，全部斩首。然后，再派二三百人再去，如果不胜照杀不误。
杨素
所以，杨素统领的士兵，但凡被派去冲锋，都知道只要不能取胜，回来也是杀头，所以，他们都抱着必死之心，拼命厮杀，这样自然也就战无不胜了。“及其对阵，先令一二百人赴敌，陷阵则已，如不能陷阵而还者，无问多少，悉斩之。又令三二百人复进，还如向法。将士股栗，有必死之心，由是战无不胜。”
虽然杨素治军如此残酷，在他手下当兵好似九死一生，但在如此高压之下，杨素为什么却从不担心士兵造反？
其中秘诀就是“赏罚分明”。在杨素手下当兵，虽然有过必罚，但反过来说，只要有战功，杨素一定会为其讨得朝廷封赏，即使轻功，也会重赏，绝不会埋没任何人的功绩，而且杨素对其他部队立功者则大加排斥。“素时贵幸，言无不从，其从素征伐者，微功必录，至于他将，虽有大功，多为文吏所谴却。”
“不想当将军的士兵不是一个好士兵”，既然来当兵，谁不想谋一个封妻荫子。虽然在杨素手下风险大点，但只要是战场，就会有风险，其他地方也不一定比杨素这儿小多少。更何况杨素这样训练出的士兵战斗力强，战胜率高，在他手下干，进步又快，赏赐又多。所以，即使杨素残忍，隋军将士也都愿意追随他。