宋朝以前，這里本是一片蘆茅洲，并無村落，人們散居在東北茜槽一帶山莊里。

南宋時(shí)，岳飛率部抗金，轉(zhuǎn)戰(zhàn)此間，茜槽一帶村莊被金兵破壞。

后來有一族劉姓居民，遷移到這里，從此潭山就有了一個(gè)小小的市鎮(zhèn)，叫奧米市。

清末民初之時(shí)，市鎮(zhèn)漸次移至今址，市鎮(zhèn)名稱也因而轉(zhuǎn)名潭山。

清以前屬天寶鄉(xiāng)。

1932年編組保甲屬第二區(qū)，1933年11月至1935年4月屬找橋特別區(qū)，特別區(qū)政治局先后駐潭山萬(wàn)壽宮、漢塘花門樓。

1935年鎮(zhèn)境分為2保聯(lián)、14保。

1939年兩個(gè)保聯(lián)分別改名潭山鎮(zhèn)和龍岡鄉(xiāng)。

1941年10月潭山鎮(zhèn)改名潭山鄉(xiāng)。

1946年，潭山鄉(xiāng)和龍岡鄉(xiāng)合并為慶凱鄉(xiāng)，下設(shè)10保、100甲。

1950年鎮(zhèn)境設(shè)潭市、聯(lián)合、龍岡、逍遙、石橋、山田等鄉(xiāng)，1952年增設(shè)找橋鄉(xiāng)。

1956年，潭市、聯(lián)合、龍岡、逍遙、山田5個(gè)鄉(xiāng)合并為潭山鄉(xiāng)；石橋、找橋2鄉(xiāng)合并為石橋鄉(xiāng)。

1958年石橋鄉(xiāng)與古陽(yáng)寨墾殖場(chǎng)合并為黃岡山墾殖場(chǎng)古陽(yáng)寨分場(chǎng)，隨后，潭山鄉(xiāng)亦成為黃崗山墾殖場(chǎng)的分場(chǎng)，兩鄉(xiāng)場(chǎng)又是人民公社，下設(shè)生產(chǎn)大隊(duì)、生產(chǎn)隊(duì)。

1959年增設(shè)院前分場(chǎng)。

1960年天寶、雙峰未并，翌年析出。

1968年潭山、石橋、院前等3分場(chǎng)合并為潭山公社，與墾殖場(chǎng)脫鉤，下轄10個(gè)大隊(duì)、50個(gè)生產(chǎn)隊(duì)。

1972年調(diào)整為葵花、龍岡、潭市、石橋、向陽(yáng)、找橋、院前、山花、路邊、茜槽、漢塘、中興等12個(gè)大隊(duì)、103個(gè)生產(chǎn)隊(duì)。

1983年公社復(fù)名鄉(xiāng)，下設(shè)村和村民小組。

1985年6月潭山鄉(xiāng)改名潭山鎮(zhèn)。