他是酷吏张汤之子，接替霍光执掌大权，不但记忆力超群还清正廉洁
张汤死后，他的儿子张安世并没有受到什么牵连，正相反，他还在权臣霍光去世之后出任大司马、卫将军、领尚书事，一度掌管整个汉王朝的军政大权。相比于父亲，张安世性格更加谦和谨慎，他也因此得以善终，并位列“麒麟阁十一功臣”之中。
汉武帝在位中后期，张安世生于京兆尹杜陵县，也就是今天的陕西省西安市一带。依靠父亲的恩荫，张安世年纪轻轻便得以被封为郎官，因为擅长书法，他随后被调到了尚书台任职。用今天的话说，张安世深谙“内卷”之道，他做事刻苦认真，即使是朝廷安排“休沐”，也就是给他放了假还仍然坚持工作。
非但如此，他还拥有堪称过目不忘的超强记忆力。某次汉武帝巡幸河东时不慎丢了三箱书，下诏询问但群臣都不了解书中内容。张安世在此时挺身而出，将整整三箱书的内容悉数回忆了出来。后来汉武帝通过悬赏找回了这些书，经过对比发现与张安世复述的别无二致。通过这次事件，汉武帝对张安世刮目相看，于是提拔他当了尚书令。
后元二年（前87），汉武帝驾崩，其幼子刘弗陵继位，是为汉昭帝。由于即位时年仅八岁，汉昭帝并没有掌握实权，而是由霍光、上官桀、桑弘羊等托孤重臣共同辅政。对于忠厚恭谨的张安世，霍光一向十分赏识，掌权后更是相当器重。
元凤元年（前80），与霍光关系不佳的上官桀父子暗中联合燕王刘旦谋反，另一重臣桑弘羊也牵连其中。计划败露后，霍光将涉案人员尽数诛杀，朝中许多重要职务因此出现了空缺。为了避免再有人作乱，霍光举荐了张安世为右将军、光禄勋，让他担任自己的副手。据《汉书》记载，张安世辅佐霍光治理国家十三年，始终尽职尽责，于是被汉昭帝特意下诏赏赐，封为富平侯。
元平元年（前74），汉昭帝驾崩，霍光举荐张安世为车骑将军，并与之共同拥立和废黜了昌邑王刘贺。随后，霍光又在与张安世商议之后决定扶持刘询为帝，这便是汉宣帝。汉宣帝即位后自知皇位是靠霍光、张安世二人才得来的，于是加封张安世食邑一万零六百户，将他的三个儿子都封为中郎将、侍中等官职，并表示其功绩仅次于霍光。
地节二年（前68），霍光去世，御史大夫魏相推荐由担任副手多年的张安世接替他出任大将军，接替霍光辅政。汉宣帝本打算采纳魏相的提议，但张安世得知后却免冠顿首极力推辞道：“老臣耳妄闻，言之为先事，不言情不达，诚自量不足以居大位，继大将军后，唯天子财哀，以全老臣之命。”
虽然生性恭谨的张安世不愿身居如此高位，但汉宣帝却笑着回答道：“君而不可，尚谁可者！”于是，数日之后汉宣帝下诏拜张安世为大司马车骑将军，领尚书事，后来又改车骑将军为卫将军。当时，霍光之子霍禹官居右将军，汉宣帝将他也改封为了大司马，表面上加官进爵，实际上却是剥夺了其兵权。
一年后，霍禹谋反遭诛，全族被夷灭，张安世虽然没有参与其中，但出于小心谨慎的性格感到十分担忧。另外，他的孙女张敬因为嫁到了霍家而遭受牵连，即将连坐遭诛。两大因素叠加之下，张安世日渐消瘦憔悴，汉宣帝见了大惊，在询问身边人后才得知原委，于是赦免了张敬的罪名，以示对张安世的安慰。
正如此前多次强调的，张安世为人谨慎而周密，一个典型例子便是他每次与皇帝商议完重大事件后总是称病离开，等到这一事件公布后再装作惊讶。通过这一“戏精”手段，群臣都不知道他其实也参与了决策。另外，张安世曾举荐一人，但当那人特意向他表示感谢时，他却生气地表示自己推举贤才只是公事，于是直接与那人绝交。
元康四年（前62）春，张安世称病请求辞官，但汉宣帝不愿失去这一助力，于是强留他继续处理政务，结果当年秋天张安世便因病去世。张汤、张安世父子都曾手握大权，但张汤因为锋芒毕露被迫自尽，张安世则凭借谦虚谨慎得以全身而退。恰如班固在《汉书》中评价得那般：“安世履道，满而不溢。”