清末屬湘陰五里；民國初年，漢陽縣建立十八個區(qū)，屬第十區(qū)；1945年全縣分四鎮(zhèn)十九鄉(xiāng)，屬侏儒鄉(xiāng)；1949年全縣劃分為五區(qū)一鎮(zhèn)，屬四區(qū)；1952年屬東山鄉(xiāng)；1956年成立和平高級社；1958年人民公社化時，改名軍山大隊，屬幸福人民公社；1975年撤區(qū)并社，屬侏儒人民公社；1984年改軍山村，設軍山村村民委員會，屬侏儒鎮(zhèn)；1992年轄區(qū)內居民點窯上、壩上合并為軍山街；2000年屬侏儒街道；2014年屬侏儒山街道至今。