隋唐到两宋时行政区划始终波动，元朝后“州”便变成二级区划
汉武帝时将全国划为十三州，东汉灵帝时正式成为行政区划
秦始皇统一天下后，为全面推行中央集权统治，在全国实行郡县制，将天下分为三十六郡、郡下设县，从而形成了“郡—县”二级行政区划。汉高帝刘邦建立西汉后，延续了这一制度，除分封于各地的诸侯王国外，中央直辖地区仍然沿用郡县制。
西汉初期，为了尽快恢复社会生产和国家经济，刘邦推行“无为而治”，因而并未建立起相应的官员监察制度，汉惠帝时虽然恢复了秦朝的御史郡监制，汉文帝时又设立了丞相使制度，但由于诸侯王国相对独立和“察举制”的弊端，这些监察官员不仅难以发挥效用，反而经常与地方官员相互勾结，结果滋生了大量贪腐官员和地方豪强。
汉武帝即位后，为了加强对地方的管理，遂对地方监察制度做出了全面改革。汉武帝元封五年（前106年），汉武帝下令，除了京师附近七郡外，将全国划分为十三个监察区，每区由朝廷派遣刺史一人，专门负责巡查区域内的吏政，检举不法的郡国官吏和强宗豪右，其管区称为刺史部。
在这十三个刺史部中，其中十一部采用了《尚书·禹贡》和《周礼·职方》中的传说州名，即冀州、兖州、青州、徐州、扬州、荆州、豫州、凉州（雍州）、益州（梁州）、幽州、并州，并改其中的梁州为益州，雍州为凉州，另外的朔方、交趾二郡则仍用其名，称朔方刺史部、交趾刺史部，统称十三刺史部，简称“十三部”或“十三州”。
汉朝各州示意图
到了东汉建武十一年（35年），东汉光武帝刘秀又下令将朔方刺史部并入并州刺史部，交趾刺史部改为交州刺史部，同时降司隶校尉部（京师附近七郡设置的部名）为十三部之一，从而形成了新的“十三部”或“十三州”。需要注意的是，此时的“州”只是监察区而并非行政区划，监察刺史也只是监察官员而并非行政长官，此时实行的仍然是“郡—县”二级行政区划。
直到汉灵帝时期，“黄巾起义”爆发，中央朝廷无力平叛，而监察刺史又无实权，实际的一级行政区划“郡”则由于数量太多、实力分散，同样无力镇压起义。于是，朝廷于中平五年（188年）改刺史为州牧，负责执掌一州军、政大权，十三个州遂成为了郡、县之上的一级行政结构。
随着“州”变为行政区划，朝廷的行政区划这才由“郡—县”二级变成“州—郡—县”三级。而此时的“州”则是最为最高一级行政区划存在的，即与现在的省类似。
隋唐至两宋的行政区划，始终在二级制与三级制之间切换
州牧权力的扩大，可以说是汉末乱世的一个重要因素，因此虽然魏晋南北朝仍然延续着“州—郡—县”三级行政区划，但为了避免汉末悲剧再演，再加上战乱频发、职务分配需求扩大，行政区划被分割的越来越小，到南北朝时期，全国设立的州已经多达220多个，而每个州则只下辖一两个郡，郡则只下辖一两个或两三个县。
虽然魏晋南北朝时行政区划太过零散，但由于当时天下大乱国家众多，因而管理问题并不突出。直到隋朝重新统一天下，一级行政区划太多才成为了国家管理的难题，隋文帝见“郡”已经形同虚设，于是在开皇三年（583年）下令“罢天下诸郡”，实行“州—县”两级行政区划制度，从而使得行政区划重新变回了“州—县”二级制。
唐代疆域图
不过，隋文帝的这个命令并未改变一级行政区划太多的问题（隋初的州多达241个），结果导致隋末天下大乱时，各州力量根本无力应对。唐朝建立之时，为招安各路义军和隋朝地方势力，导致官职需求继续加大，结果再度缩小了“州”的管辖范围。虽然唐太宗即位后大力对“州”进行裁并，但到贞观十三年（639年）时，全国仍有多达358个州，而县则仅有1551个。
数量庞大的一级行政区，给朝廷管理带来了极大困难，为改变这种局面，唐太宗李世民在汲取了汉朝监察区模式的优势和弊端后，按照交通线路将全国划分为10道（后增至15道），由朝廷派遣采访处置使等监察官员不定期赴多事地区视察，这时的监察官员无定职，而这里的“道”同样是监察区，而并非行政区。
唐玄宗即位后，因边患不断加重，唐玄宗于边关地区设置大军团应付外敌，以节度使为统率，后为加强边帅权力，又于天宝年间由节度使兼领采访史，如此藩镇节度使开始拥有了辖区内数州的行政权，结果随着节度使权力的扩大，最终酿成了“安史之乱”。“安史之乱”虽然最终被平定，但节度使制度却已经蔓延至全国，且逐步脱离中央朝廷统治，结果“道”就此成为了一级行政区划，从而导致行政区划又变成了“道—州—县”三级制，而这也是导致唐末五代十国乱局的一个重要因素。
此时的“州”则便成了二级行政区划，与现代的“市”类似。
宋太祖赵匡胤建立宋朝后，为避免唐末乱世再现，开始推行“强干弱枝”统治模式，将节度使领地重新划归中央，行政区划又重新回到了“州（府）—县”二级制。不过，由于要管理一个幅员辽阔的国家，这种制度显然不太合理，因而宋太宗即位之后，在淳化五年（994年）以前的15年中，尝试实行“道”、“路”并存的选行政区划制，并在淳化五年正式废去道制，改为路制，不过对于将全国划分为多少“路”，却始终未能形成定规。
例如至道三年（997年）将天下划分为15路，但在宋真宗天禧四年（1020年）又增至18路，到了宋神宗熙宁七年（1074年）又增至23路，宋徽宗崇宁四年（1105年）又将国都开封府置为京畿路，进而形成24路。如此行政区划又变成了“路—州（府）—县”三级制。
北宋二十四路示意图
在汲取前朝教训的情况下，宋朝并不将“路”交给单一官员管理，而是将权力一分为四，以水陆转运使为行政长官，又置安抚使、刑狱使、常平使，分掌兵、刑、市场平籴与盐铁专卖。而作为二级行政区的州依然保留着向中央直接奏事的权力。因此，宋代在行政区划上虽然是三级制，但却是一种虚三级制，“州”仍然作为一级行政区存在，与现代的省类似。
自元朝建立省级行政区划开始，“州”最终沦为二级行政区划
蒙元政权在不断扩张的过程中，由于征服的政权太多，而这些政权的行政体制又各不相同，因此通常在占领区域内沿袭了各个政权的现成制度。同时，由于蒙元南下灭宋的过程长达七八十年，进而导致很多临时措施逐渐变成了永久性制度，结果使其早期行政体制极为混乱。
中统初年，元世祖忽必烈开始推行省制，但在很长一段时期内，行省的设置和辖区都极不稳定，直到元成宗时期才逐步形成元代省制行政区划。元英宗时期，将全国划分为12个一级行政区，即1个中书省和11个行中书省（后有所增减），而行省以下的行政区划则沿袭宋朝，行省下辖路，路领府、州，府、州辖县。但也有不辖县的路、府、州；不隶于路的府、州，而直隶于行省。直隶于行省的府、州称为直隶府、直隶州；隶于路的府、州，称为散府、散州。
结果便是，元朝的行政区划极为混乱，全国上下最简单的只有“行省—州（府）”二级，而最多的则达到“行省—路—府—州—县”五级，大多数地区则又实行的是三级制和四级制。
明朝灭掉元朝后，为了便于统治，开始减少行政区划层级，取消了二级制和五级制，而采取三级制和四级制并存的方式，其中又以“行省—府—州—县”四级为主。这里的“州”已经降为了三级行政区划，其地位相当于现代的县级市。
清朝雍正年间，朝廷又将明朝复式的三四级政区层级简化为单式的“省—府（州）—县”三级制，至清末，三级政区的数目分别为26、358、1191，管理幅度都不算大。后来，省以下还设了派出机构——巡道和守道，管理区域进一步缩小。
至此，我国古代的行政区划，从秦始皇统一天下后建立的“郡—县”二级制，历经两千多年发展，最终到清朝形成了“省—府（州）—县”三级制，而“州”这个曾经的一级行政区划，至此也彻底沦为了二级行政区划，与现代的市类似。实际上，民国与现代的行政区划，其实也一定程度延续了清朝的设置，甚至很多名称也得到了延续，例如杭州市、苏州市等等。