南朝宋武帝永初元年(420)，撤南青州并入南兖州，侨置在广陵郡的原青州各侨郡侨县改属南兖州。

文帝元嘉八年(431)，改南兖为实州，分江而治，南兖州割江淮为境，治广陵（扬州市区），南兖州领广陵、海陵、山阳、盱眙(治所今盱眙县东北)、秦(治所今六合县北)、南沛(治所今安徽省天长市石梁镇)、新平(治所今海安县)、北淮阳(治所今宿迁市东南)、北济阴(治所当在今扬州境内)、北下邳(治所当在今江苏省境内)、东莞(治所当在今江苏省境内)11郡。

齐高帝建元四年(482)，南兖州领广陵、海陵、山阳、盱眙、南沛五郡。

北齐文宣帝天保三年(552)，南兖州归属北齐，并改名为东广州，下置广陵、江阳2郡。

陈宣帝太建六年(574)，东广州入南朝，复称南兖州。十一年，南兖州又入北朝，并改名吴州，置总管刺史。仍治广陵。