达奚长儒的祖籍是代地,最初属于鲜卑族中诸多部落之一。达奚长儒的祖父达奚俟曾任北魏政权的定州刺史,他的父亲达奚庆曾任骠骑大将军,仪同三司。所以,达奚长儒家几代为官,家世十分显赫。
所以,达奚长儒在很小的时候,就受到家庭传统的熏陶,崇尚武略,并且有着过人的胆识。他在十五岁时继承父亲的封爵,成为乐安公。北魏大统年间,达奚长儒被任命为奉车都尉。
年轻有为的达奚长儒英勇善战,并且屡立战功,他凭借自己的实力为自己开辟了一条十分顺畅的仕途:假辅国将军,累迁使持节、抚军将军、通直散骑常侍等官职。后来又被封为车骑大将军、仪同三司,增加食邑三百户。北周武帝的天和年间,他又出任渭南郡守,迁骠骑大将军和开府仪同三司。等他跟随武帝征服北齐之后,再迁为上开府,晋爵成安郡公,食邑一千二百户。宣政元年,被授予左前军勇猛中大夫。年纪轻轻就任过了这么多的官职,在历史上也是不多见的。
也就是在宣政元年,陈军吴明彻率军侵犯北周,达奚长儒与乌丸轨率兵将吴明彻死死地包围在吕梁。陈军在得到消息后,又派骁将刘景率领七千精锐赴吕梁救援吴明彻,北周军将处于腹背受敌的不利境地。很快,达奚长儒就派人探听到陈援军从水路而来,便下令搜集几百个车轮,系上巨石,并用铁链相连,投入河道中,这样可以使刘景部的战船阻滞在河道中,不能继续前进。于是,达奚长儒乘机突发奇兵,水陆夹击,迅速将刘景军击溃,后来又与乌丸轨夹击,很利落地擒获了陈军主帅吴明彻。杨坚取代北周建立隋朝后,无论在哪场战役中,达奚长儒都表现出了过人的智慧和胆识,因此立下大功,又被晋位大将军,出任行军总管,掌管北方边境的军事调度,以抵御突厥军的不断侵犯与骚扰。
果然,在开皇三年,突厥沙钵略可汗偕同他的弟弟率领十万多大军南下侵犯隋朝边塞。但是,当时隋军准备不足,军队士气低落。就在这样的危急时刻,达奚长儒率领两千精锐部队迎战敌军,在周盘陷入突厥军的重重包围。士兵们开始时都非常害怕,但见主帅达奚长儒神色自若,冷静应对,大家渐渐地恢复了士气,奋力杀敌。隋军边战边退,数次被敌军冲散,但是又在很短的时间内聚合。在与突厥军大战的几天中,士兵们的兵器损坏了,就赤手空拳与敌人肉搏,直到手都打得露出了骨头,杀死杀伤敌军万人左右。拼杀三天三夜后,突厥军最终落荒而逃。
这次战争虽然以隋军的胜利而告终,但是损失十分惨重,达奚长儒也身受重伤,五处伤中竟有两处伤穿透身体。隋文帝得到这个消息后,立即下令奖赏众兵将,对达奚长儒和他的部下称赞备至,授予达奚长儒上柱国的职位,并对阵亡的将士赠官三转,并由他们的子孙承袭。这次战争对于隋朝来说,意义十分重大。之后,达奚长儒又出任宁州刺史、鄘州刺史等职,因为突厥人听说了他的威名,又经过前次战争的较量,所以不敢再来侵扰他管辖的地区。