元代時期，境域?qū)偕抽T社。

清道光年間（1821年—1850年），長島設(shè)13社，大黑山島設(shè)北莊社和南莊社，小黑山島設(shè)小黑山島社，時北莊社轄北莊、土島2村，南莊社轄南莊、船旺、西濠、大濠、小濠5村，小黑山社轄小黑山村。

民國二十三年（1934年），改設(shè)北莊鄉(xiāng)和南莊鄉(xiāng)。

民國三十四年（1945年），隸屬廟島區(qū)。

民國三十五年（1946年），設(shè)黑山區(qū)。

民國三十七年（1948年），改設(shè)黑山鄉(xiāng)，區(qū)劃不變。

1949年后，仍設(shè)黑山鄉(xiāng)。

1958年11月，長島縣并入蓬萊縣，為長島公社黑山大隊。

1963年6月，復(fù)置長島縣，改設(shè)黑山公社。

1984年，撤銷黑山公社，設(shè)立黑山鄉(xiāng)。

1985年，撤銷黑山鄉(xiāng)，分別設(shè)立大黑山鄉(xiāng)和小黑山鄉(xiāng)。

2000年12月，小黑山鄉(xiāng)并入大黑山鄉(xiāng)，設(shè)立黑山區(qū)公所。

2003年2月，撤黑山區(qū)公所，設(shè)立黑山鄉(xiāng)。