明屬蠻夷長官司水特姜圖、羅文水圖和沿河祐溪長官司卜龜坪圖及水德江長官司德江圖、大堡圖、甕濟圖共同管轄。
清屬思南府屬特姜圖第八甲(高山橋)、羅紋圖第九甲(冷水溪)、卜龜圖第四甲(細草池)第五甲.(鹿溪)第九甲(野貓?zhí)粒,安化縣德江圖第十甲(錯溪塘、方家寨)、大堡圖第五甲(方家寨)第七甲(麻陽河)、甕濟圖第三甲(錯溪塘)。
民國十九年(1930年)8月,置方家鄉(xiāng),隸穩(wěn)坪區(qū),下置閭、鄰。
民國二十四年(1935年)6月,撤閭,建7個保。
民國二十六年(1937年)11月,方家鄉(xiāng)并入杉樹鄉(xiāng)。
民國三十一年(1942年),析置和平聯(lián)保。
民國三十二年(1943年),聯(lián)保改鄉(xiāng)。
1953年1月,置方家、旋溪、高山、冷水4個鄉(xiāng)。
1956年3月,方家鄉(xiāng)并入高山鄉(xiāng)。
1959年1月,旋溪、高山、冷水鄉(xiāng)各改為生產管理區(qū)。
1961年9月,高山、冷水、旋溪生產管理區(qū)合并成立商山公社。
1963年3月,長豐區(qū)公所遷駐鐵汞壩,析置高山、冷水、旋溪3個公社。
1992年10月,高山、冷水、旋溪鄉(xiāng)合并為高山土家族鄉(xiāng)。
2012年12月11日,撤銷高山土家族鄉(xiāng),設立高山鎮(zhèn)。