秦代始置汝陰縣；東漢時(shí)期屬于汝南郡；三國(guó)魏置汝陰郡；北魏孝昌四年（528），置潁州；隋大業(yè)三年（607），設(shè)汝陰郡；唐設(shè)潁州，屬亳州管轄；宋設(shè)順昌府；元屬汝寧府；明朝屬鳳陽(yáng)府。

明朝萬(wàn)歷十年（1582），在阜陽(yáng)縣置潁川衛(wèi)；清雍正十三年（1735）升潁州為潁州府，并以潁州本轄新置附郭縣，乾隆皇帝依奏賜名阜陽(yáng)縣；民國(guó)初年撤銷(xiāo)潁州府。

1949年3月，撤阜陽(yáng)市，并入阜陽(yáng)縣；1949年10月，設(shè)立阜陽(yáng)專(zhuān)區(qū)專(zhuān)員公署，下轄八縣一個(gè)行政辦事處。

阜陽(yáng)專(zhuān)區(qū)有界首市、亳縣、太和縣、阜陽(yáng)縣、渦陽(yáng)縣、蒙城縣、潁上縣、阜南縣、臨泉縣和鳳臺(tái)縣。

1953年9月，界首市撤銷(xiāo)，建界首縣。

1964年10月，建立利辛縣。

1971年，改阜陽(yáng)專(zhuān)區(qū)為阜陽(yáng)地區(qū)。

1975年12月19日，設(shè)立阜陽(yáng)市（縣級(jí)），由阜陽(yáng)地區(qū)管轄。

1977年1月，鳳臺(tái)縣由阜陽(yáng)地區(qū)劃歸淮南市管轄。

1986年3月11日，設(shè)立亳州市（縣級(jí)）。

亳州市由阜陽(yáng)地區(qū)領(lǐng)導(dǎo)（1986年6月4日正式成立）。

1992年，同意撤銷(xiāo)阜陽(yáng)市、阜陽(yáng)縣，重新組建阜陽(yáng)市（縣級(jí)）。

1996年1月，撤銷(xiāo)阜陽(yáng)地區(qū)和縣級(jí)阜陽(yáng)市，設(shè)立地級(jí)阜陽(yáng)市。

1998年2月，亳州市從阜陽(yáng)市劃出，由安徽省直轄。

2000年5月11日，將阜陽(yáng)市管轄的渦陽(yáng)縣、蒙城縣、利辛縣劃歸新設(shè)立的地級(jí)亳州市管轄。