清道光二十三年（1843年），金州廳在長山列島設(shè)置小長山島社。

清光緒二十年（1894年），中日甲午戰(zhàn)爭后，長山列島被日本帝國主義侵占。

清光緒二十四年（1898年），帝俄占據(jù)旅大設(shè)置關(guān)東州廳，設(shè)長山列島行政區(qū)，下設(shè)小長山島聯(lián)合村團(tuán)。

清光緒三十年（1904年），日本重新占領(lǐng)長山列島。

清光緒三十二年（1906年），建小長山島會(huì)。

民國三十四年（1945年）11月，建小長山鄉(xiāng)，屬長山區(qū)。

1949年11月，建小長山區(qū)，屬長山縣，時(shí)為縣黨政機(jī)關(guān)所在地（1960年遷駐大長山島）。

1950年8月，改稱長山縣第一區(qū)。

1955年6月，復(fù)稱小長山區(qū)。

1956年3月，建小長山、烏蟒2鄉(xiāng)。

1957年，增設(shè)鈀蛸鄉(xiāng)。

1958年6月，3鄉(xiāng)合并為小長山鄉(xiāng)。

同年9月，撤鄉(xiāng)建立小長山公社。

1983年10月，撤公社建小長山鄉(xiāng)。

2017年，改小長山島鎮(zhèn)。