他是隋朝第一名臣，因为一句话得罪独孤皇后，最后被隋文帝给罢免
有关部门上奏说:“按照《周礼》,百官妻子的品级发布,应当由王后负责,请求依照古制。”独孤皇后说:“女人干政,或许就会从这些小事发端,不可以开这个头。”大都督崔长仁是独孤皇后的亲戚,犯了法应当问斩,文帝因为独孤皇后的缘故,想要赦免他的罪过。独孤皇后说:“国家之事,怎么可以徇私呢?”崔长仁最终还是伏法了。独孤皇后的性情俭朴,文帝曾经想要配止泻的药,需要一两胡粉,这东西因为宫里不用,所以到处访求,竟然无法得到。文帝还曾经想赏赐柱国刘嵩的妻子一件织成的衣领,宫里也没有。
虽然宠爱独孤皇后,但是文帝吸取了北周重用外戚(包括他自己)而失去天下的教训,从不把大权和要职授予外戚,独孤皇后的兄弟们不过做到将军、刺史。文帝外祖家吕氏是济南人,向来卑微、贫贱,北齐灭亡以后,文帝到处求访,始终找不到踪迹。等到文帝继位,才找到了舅舅吕永吉,于是追赠外祖父吕双周为太尉,封齐郡公,并让吕永吉继承爵位。吕永吉的叔父吕道贵性子尤其顽劣,言辞粗鄙,文帝优厚地供养他,但不许他和朝臣接触。还拜他做上仪同三司,出任济南太守,后来济南郡被废除,吕道贵终老于家。孤独皇后性情非常妒忌,后宫嫔妃都不敢接近和侍奉文帝。尉迟迥的孙女颇有美貌,文帝登基前,尉迟迥起兵反抗,战败自杀,此女也被抄没进宫,后来文帝在仁寿宫见到,非常高兴,就此得到宠幸。孤独皇后趁着文帝上朝的机会,秘密将尉迟女杀死。
文帝因此大怒,单人独骑从御苑出来,不走道路,跑进山谷中二十多里地。高颎、杨素等人追赶上去,拉着他的马头苦苦劝谏。文帝叹息道:“我贵为天子,却没有自由!”高颎说:“陛下怎能为一个妇人就看轻天下?”文帝这才逐渐消气,停着马很长时间,直到午夜方才回宫。独孤皇后在内宫等文帝归来,文帝来到后,独孤皇后流着眼泪磕头道歉,高颎和杨素又在旁边劝解,这才摆开酒宴,一帝一后两名臣子痛饮狂欢。在此之前,独孤皇后因为高本来是其父独孤信的门客,所以对高颎非常亲近、敬重,经过这件事,听说高颎称自己为“一个妇人”,就此心怀怨恨。当时皇太子杨勇丧失了文帝的宠爱,文帝暗中有废立太子之意,就假装随口询问高颎说:“有神告诉晋王杨广的妃子,说晋王必将得到天下,该怎么办?”高颎长跪着说:“长幼有序,怎么可以废黜太子呢?”独孤皇后知道高在这个问题上不会改变主意,就暗中想要把他赶出朝廷去。
后来高颊的夫人去世,独孤皇后就对文帝说:“高仆射老了,又没了夫人,陛下怎能不为他再娶一房继室呢?”文帝把皇后的话告诉高颎,高颎流着眼泪感谢道:“臣如今已经老了,退朝以后,只是斋戒在家读佛经而已,虽然陛下对臣如此哀怜,但娶继室的事情,并非臣的愿望。”文帝于是作罢。其后高颎的爱妾生下一个男孩,文帝听说了很欢喜,独孤皇后却不高兴。文帝询问缘故,皇后说:“陛下您还能相信高颎吗?当初,陛下想要给他娶继室,他因为心里念着爱妾,所以当面欺瞒陛下,如今他的诡诈已经暴露,怎么还能相信?”文帝因此疏远高颎。
公元598年,文帝命汉王杨谅和高颎等人率领三十万大军攻伐高句丽,结果战败而归。出兵之前,高颎曾经苦苦劝阻,文帝不肯听从。等到兵败,独孤皇后就对文帝说:“高颎本来就不打算去,陛下偏要派他去,我就知道他不会成功啊。”文帝越来越厌烦高颎,不久后终于将他罢免。