西周境內(nèi)有禹國(guó)及魯國(guó)啟陽(yáng)、中邱等邑。

啟陽(yáng)，乃今臨沂城最早名稱(chēng)。

春秋末期為魯國(guó)地。

戰(zhàn)國(guó)后期歸楚國(guó)。

秦為啟陽(yáng)縣，屬郯郡。

西漢時(shí)，為避景帝劉啟諱，啟陽(yáng)易名為開(kāi)陽(yáng)。

元封五年（前106），在今城北白沙埠鎮(zhèn)境內(nèi)的諸葛城置臨沂縣、即丘縣，與開(kāi)陽(yáng)縣均屬徐州東�？�。

東漢建初五年（80），置瑯琊國(guó)于開(kāi)陽(yáng)。

北魏中期，瑯琊國(guó)改作瑯琊郡。

永安二年（529），為北徐州治所。

南朝宋移郡治于即丘，有臨沂、開(kāi)陽(yáng)二縣。

隋大業(yè)初年（605），將開(kāi)陽(yáng)、臨沂、即邱3個(gè)縣合并為臨沂縣，治今臨沂城。

唐武德四年（621年），在今郯城縣褚墩鎮(zhèn)西南部之蘭山腳下置蘭山縣，武德六年蘭山縣撤銷(xiāo)，轄境并入臨沂縣版圖（據(jù)《方輿紀(jì)要》）。

北宋時(shí)，屬沂州瑯琊郡。

爾后金、元、明、清幾朝，皆沿用沂州之稱(chēng)。

明初，臨沂縣撤銷(xiāo)入沂州（即以州代縣）。

清雍正十二年（1734），沂州改稱(chēng)府，府治周?chē)貐^(qū)設(shè)縣，名為蘭山縣。

民國(guó)二年（1913）沂州府撤銷(xiāo)，蘭山縣恢復(fù)臨沂縣之稱(chēng)。

新中國(guó)成立后，臨沂縣于1958年12月至1963年3月期間改稱(chēng)臨沂市，后又稱(chēng)為縣。

1983年9月，國(guó)務(wù)院批準(zhǔn)恢復(fù)臨沂市，為山東省轄縣級(jí)市。

1994年12月17日，國(guó)務(wù)院同意原縣級(jí)臨沂市撤銷(xiāo)，其原轄行政區(qū)域內(nèi)設(shè)置蘭山區(qū)、羅莊區(qū)、河?xùn)|區(qū)3個(gè)縣級(jí)行政區(qū)。

蘭山區(qū)轄蘭山、金雀山、銀雀山3個(gè)辦事處，義堂、大嶺、南坊、棗溝頭、白沙埠、半程6個(gè)鎮(zhèn)，李官、朱保、馬廠湖3個(gè)鄉(xiāng)。

1997年3月，馬廠湖撤鄉(xiāng)設(shè)鎮(zhèn)。

2001年6月，大嶺鎮(zhèn)撤銷(xiāo)，所轄38個(gè)行政村并入蘭山辦事處。

2002年1月，蘭山辦事處、銀雀山辦事處、金雀山辦事處分別改稱(chēng)蘭山街道辦事處、銀雀山街道辦事處、金雀山街道辦事處。

3月，朱保、李官撤鄉(xiāng)設(shè)鎮(zhèn)。

截至2002年12月，全區(qū)下設(shè)3個(gè)街道辦事處，8個(gè)鎮(zhèn)。

2003年1月，撤銷(xiāo)南坊鎮(zhèn)，設(shè)立南坊街道辦事處。

截至2003年12月，全區(qū)下設(shè)4個(gè)街道辦事處，7個(gè)鎮(zhèn)。

2011年1月經(jīng)山東省人民政府批準(zhǔn)，將費(fèi)縣新橋鎮(zhèn)、方城鎮(zhèn)、汪溝鎮(zhèn)劃歸蘭山區(qū)管轄。

2011年8月經(jīng)山東省人民政府批準(zhǔn)，撤銷(xiāo)朱保鎮(zhèn)，將其原行政區(qū)域并入義堂鎮(zhèn)；撤銷(xiāo)新橋鎮(zhèn)，將其原行政區(qū)域并入方城鎮(zhèn)。

截至2022年3月，全區(qū)下設(shè)4個(gè)街道，8個(gè)鎮(zhèn)。