曾名“劉家窩棚”“平安屯”。
清宣統(tǒng)二年(1910)形成聚落。
中華民國成立后,1915年3月,劃歸新設(shè)立的景星設(shè)治局管轄。
1929年隸屬景星縣管轄。
東北淪陷后,初隸第三區(qū),后改設(shè)馬家村。
1945年抗戰(zhàn)勝利后,屬景星縣第三區(qū)。
中華人民共和國建立后,1955年改為泉子溝區(qū)。
1956年劃歸龍江縣,設(shè)置泉子溝鄉(xiāng)。
1958年6月,龍山、西北溝、興隆泉3鄉(xiāng)并入。
同年9月,與金山堡、柳樹泉眼鄉(xiāng)合并成立山泉人民公社。
1961年,析置出柳樹公社。
1984年,山泉公社改山泉鄉(xiāng)。
1986年,撤鄉(xiāng)設(shè)鎮(zhèn),改稱山泉鎮(zhèn)。
2002年對寶鄉(xiāng)并入,2004年柳樹鄉(xiāng)并入。
名稱沿用至今。