杨汪的家族原本是弘农华阴人,后随其曾祖父迁徙到了河东。杨汪年少时凶悍粗野,好与人斗,但是等他长大后却变得勤勉好学。他精研《左氏传》,通晓《三礼》,所以在他做北周冀王侍读时受到了冀王的重用。后来,他又跟从沈重学习《礼记》,跟从刘臻学习《汉书》,二人称赞他青出于蓝而胜于蓝,因此他的美名在当时也广为流传,不久后升任夏官府都上士。在杨坚当丞相时,他就做到了大夫一职。
杨汪在隋文帝登基后被赐爵平乡县伯,受邑二百户,历任尚书司勋兵部二曹侍郎、秦州总管长史等职,留下了明智干练的名声,因而升任尚书左丞,但因事获罪被免职。后来他又历任荆、洛二州长史。在处理政务之余,他常常招揽门徒讲授学业,被当时的人广为赞扬。
很多年后,文帝让谏议大夫王达推荐一名好的左丞,王达便私下对杨汪说只要以良田为报,他就推荐杨汪做左丞一职。但是他没有想到杨汪居然将这件事上奏给了文帝,王达因此而获罪,而杨汪最终被拜为尚书左丞。杨汪对法令非常地熟悉,他善于分析判决果断,在当时被公认为是一个非常称职的官员。
杨汪在隋炀帝即位后又任大理卿。杨汪任职的第二天,炀帝想要亲自视察囚犯。当时被关押的囚犯有二百多人,杨汪通宵查究审案,清晨上奏,委曲详尽,无一遗漏或错误,因而得到炀帝的称赞。在一年后,他又被隋炀帝封为国子祭酒。炀帝还命令百官从师学习,与杨汪一起讲谈议论,当时很多文人雅士竟然没有一个人能难倒杨汪。于是,炀帝命令御史把杨汪和百官的问答记录下来,阅读之后他非常高兴,觉得杨汪是一个非常难得的人才,高兴之下还赐给他一匹良马,之后对他更是百般崇敬。
到了杨玄感举兵谋反的时候,时河南赞治(官名)裴弘策出师抵抗,但是大败而归,返回时遇到杨汪,便与杨汪私下秘密交谈。不久,樊子盖杀死了裴弘策,并将弘策与杨汪密谈之事上奏炀帝,炀帝于是开始怀疑杨汪,便将他贬为梁郡通守。后来,李密带领瓦岗军逼近东都,屡次袭击梁郡。于是,杨汪带兵抵抗,多次打败其精锐部队。隋炀帝死后,王世充推举越王杨侗为君主,封杨汪为吏部尚书,非常重用他。王世充篡位后,杨汪仍然被任用。王世充被消灭之后,杨汪也以凶党的罪名被处以死刑。侍奉几代君王的重臣就这样结束了他的一生。