位于祁陽縣境中部稍北，距縣城22公里。東與梅溪鎮(zhèn)相接，南臨湘江與黃泥塘、進寶塘、白水三鎮(zhèn)隔江相望，西與觀音灘鎮(zhèn)相連，北與七里橋鎮(zhèn)、羊角塘鎮(zhèn)接壤。鎮(zhèn)政府駐周家灣居委會，轄木埠頭、許家?guī)X、下堡橋、楊柳、多喜塘、岐竹、丁家坪、側(cè)樹坪、楊梅園、廣濟橋、下七渡、夭竹、雙江、石峽洲、龍江、柏家、楓樹、謝家灣、陽家歧、曾家歧、毛家埠、八角嶺、老司里、高山、蘇木、東江、樂園、深皇、白果、盤古、榔樹、源星、新民、陸家、桐木、塘弦灣、中洲、董家埠、龍溪、古形、仙人坪、靈官甸、合洲、銅鑼山、大洞源、赤一、赤二、鋼鐵、魯沖、丫沖、東橋、荷花、享塘、新屋、龍?zhí)丁⒔ㄏ?6個村和周家灣、上街、下街3個居委會。

潘市鎮(zhèn)原名潘家埠，因湘江北岸一個上千年歷史的泊船碼頭上的住戶多姓“潘”而得名。解放初為潘家埠鄉(xiāng)，屬第三區(qū)所轄。1950年潘家埠為第四區(qū)。1952年祁陽縣析出祁東縣后，潘家埠為第六區(qū)，轄現(xiàn)潘市鎮(zhèn)和梅溪鎮(zhèn)。1958年10月為燈塔人民公社，轄現(xiàn)潘市鎮(zhèn)和梅溪鎮(zhèn)全部管區(qū)。1959年5月為潘家埠人民公社。1961年改名為潘家埠區(qū)，轄潘家埠、下七渡、馬安嶺、塘弦灣、梅溪、樓梯、松林7個人民公社。1965年撤潘家埠人民公社，建石洞源人民公社，仍隸屬潘家埠區(qū)管轄。1984年4月撤社建鄉(xiāng)時，潘家埠區(qū)所轄的七個人民公社改名為七個鄉(xiāng)。1985年元月，塘弦灣鄉(xiāng)改為潘市鎮(zhèn)。1995年7月，撤區(qū)并鄉(xiāng)建鎮(zhèn)，即潘市鎮(zhèn)、下七渡鄉(xiāng)、馬安嶺鄉(xiāng)、石洞源鄉(xiāng)、松林鄉(xiāng)合并為潘市鎮(zhèn)。

全鎮(zhèn)總面積131平方公里，耕地1178公頃，13400戶，44771人。祁山橫亙于北，湘江纏綿于南，鎮(zhèn)境北高南低。交通十分便利，水運繁忙，公路四通八達。祁羊公路、衡昆高速公路縱橫貫穿，新修湘江大橋使全縣的南北更緊密連成一體。鎮(zhèn)北部山地，盛產(chǎn)杉木、板栗、楠竹、桐油，水豐草茂，是發(fā)展畜牧業(yè)的理想之地。全鎮(zhèn)副業(yè)有紅薯、小麥、茶油、茶葉、柑桔等。石峽洲和中洲是祁陽境內(nèi)湘江三大江心島中的兩個。蔬菜水果基地年產(chǎn)2000萬噸，銷往衡陽、長沙、廣州等省內(nèi)外。礦產(chǎn)有石灰石、煤、鐵、銅、瓷泥、陶泥等。全鎮(zhèn)2002年生產(chǎn)總值為11247萬元，財政收入215．6萬元。

潘市鎮(zhèn)是無產(chǎn)階級革命家陶鑄同志的故鄉(xiāng)。1950年陶鑄創(chuàng)辦鐵錚圖書館于鎮(zhèn)政府所在地，“文革”中被毀，1988年重建。.