中華人民共和國成立初期為新余縣鵠山區(qū)小步鄉(xiāng)。

1955年成立小步、潢里、水口圩、皂江等9個初級社。

1956年轉(zhuǎn)為小步、潢里高級社。

1958年為新余縣萬寶分社小步大隊。

同年轉(zhuǎn)為蒙山墾殖場小步分場。

1960年劃入上高縣，屬蒙山墾殖場。

1968年屬蒙山公社（場）小步大隊。

1972年場、社分開，為蒙山公社小步大隊。

1981年由小步大隊分出為小上大隊。

1984年為蒙山鄉(xiāng)小上村委會。

2013年為蒙山鎮(zhèn)小上村民委員會。