南宋吴阶三代守蜀，其家族究竟有没有受到朝廷猜忌？
朝廷对吴氏的猜忌是没有停止过的，吴氏的“世袭权”从来都是不稳固的，这里避谈吴玠、吴璘，只说在吴玠、吴璘后的吴氏子弟也很能说明问题，吴氏第二代子弟中的代表人物吴挺、吴拱的经历最具典型性，如随吴璘征战西北的吴挺，在其父死后被朝廷召入朝中拜左卫上将军，直到近十年后才再次回到四川（当然，我想吴挺能够再次回蜀，与孝宗本人对其能力、忠诚的赏识密切相关，吴挺确实也不负所望）。《建炎以来朝野杂记》有“赵子直丘宗卿杨嗣勋不欲吴氏世袭”一条，专门列出了孝宗、光宗时大臣赵汝愚等对吴氏世袭的极力阻止。
《宋史》各列传中，不少文臣都对吴氏兄弟及其子弟有所论奏，这些文书的内容无外乎“不能让吴氏子弟回去四川去”、“把他们从四川调走”、“四川越来越危险啦”，比如立志“生无以报国，死愿为猛将以灭敌”的名臣丘崈（光宗时拜四川制置使，于开禧北伐后期主防江淮）曾说：“臣入蜀后，吴挺（吴璘第五子）脱至死亡，兵权不可复付其子。臣请得便宜抚定诸军，以俟朝命。”在吴挺之子吴曦通过关系得以逐渐掌握蜀地军权时，包括丘崈在内的诸文臣都曾对这一举措潜藏的危险有所预知。
在开禧北伐吴曦叛降金朝后，吴氏的厄运也就到来，一向对世代掌握蜀地兵权的吴氏不满的文臣们得到了实践自己理论的最好机会。除了与吴曦合谋叛乱的吴氏子弟被处死外，“诏（吴）曦妻子处死，亲昆弟除名勒停，吴璘子孙并徙出蜀，吴玠子孙免连坐，通主（吴）璘祀”，因为此次的元凶吴曦是吴璘的直系子孙，所以吴璘的后代被赶出了蜀地，只有吴玠的子孙得以免遭连坐，并负责祭祀吴璘。