遠在四千多年前，沙溝境內就有人類聚居，屬東夷族。

夏商時期，沙溝境內屬薛國常邑，春秋屬齊魯二國。

西漢公元50年漢武帝封劉咸與此稱建陽候，并筑建陽城(故城址在今南常村東北)隸屬東海郡，新莽時期改建陽縣為建力縣，東漢廢。

隋清先后屬蕃縣，后更名為滕陽，滕縣，丞縣曾更名為蘭陵縣，嶧縣，自隋清1300余年境內隸屬二縣未變。

建國后為滕縣八區(qū)政府駐地，1962年6月設沙溝公社，1984年改為沙溝鎮(zhèn)，2001年3月，鄉(xiāng)鎮(zhèn)區(qū)劃調整，南常鄉(xiāng)并入成今境。