魏晋隋唐时已出现行尚书台，但只是临时机构，元朝正式设置行省
王袆在《送申巡检之官序》中记载：“至正十一年，海内多故，天子命勋旧大臣行中书省以镇外服，且以为去朝廷远，事有机速，不可律于常制禀命而行。凡军旅、钱粮、铨选之事，一听其便宜行之。”王袆是明朝官吏，学者。生于至治二年（1322年），死于洪武七年（1374年）。元末曾隐居山中。他的这段话点出了行省制的一些情况。时间是至正十一年（1351年），当时的皇帝是元惠宗妥懽帖睦尔。其实这个时候行省已经形成。
在魏晋隋唐和金代有行台和行尚书省的说法。只不过那时权力的两重性仅表现在云南等少数行省范围内，多数性质仍然是朝廷的临时派出机构。唐朝时期李靖就做过行台兵部尚书。
在大蒙古国时期，燕京、别失八里、阿母河三断事官及归降的金国官吏、军阀等，这些地方也被称为行尚书省或行省。但这些还算不上严格意义上的行省。
元世祖忽必烈建立元朝，正式在中央设置中书省，总领全国政务。而在全国设10个行省，即岭北、辽阳、河南江北、陕西、四川、甘肃、云南、江浙省、江西、湖广。而山东、山西、河北和内蒙古等地则称为“腹里”，由中书省直辖。行省制正式形成。
元朝行省示意图
在世祖末成宗初，对行省的名称、品秩、事权作了重要调整：其一，取消中书省宰执“系衔”；其二，降行省品秩为从一品，以平章政事二名为长官、少数行省特许增置左丞相一员；其三，江南等处行枢密院并入行省，实行“絜兵民二枋而临制于阃外”的体制。这大体奠定了行省作为地方常设机构的规模和权力框架。《元史·世祖纪五》就有关于行省的记载：“今大师方兴， 荆湖、淮西置行省，势位既不相下，号令必不能一，后当败事。”
明清以后不再采用行中书省的制度，但行省（或简称省）之名已在习惯上代表大行政区，一直沿用至今。清朝时期薛福成在《上李伯相论与英使议约事宜书》里就沿用了这个说法：“夫京师者，天下之首也，宜以全力护之；沿海、沿江各行省者，天下之肢体也，宜各自以其兵力守之。”
应该说行省的设置改变了我国古代地方的管理体系，有利于中央对地方的控制，加强了中央集权，有利于统一的多民族国家的发展，为明清所沿用，成为我国省制的开端。