明清時(shí)，上義屬古名都上，義社（約）。

民國(guó)十八年（1929年），屬第一區(qū)上義鄉(xiāng)。

民國(guó)三十年（1941年），屬第一區(qū)尚好鄉(xiāng)。

民國(guó)三十四年（1945年），改為廣義鄉(xiāng)。

中華人民共和國(guó)成立初，屬第二區(qū)好義鄉(xiāng)。

1952年，屬第七區(qū)。

1957年12月，成立上義鄉(xiāng)。

1958年10月，屬好義公社。

1961年4月，分立上義公社。

1963年3月，并入好義公社。

1973年4月，再次恢復(fù)上義公社。

1983年9月，撤社設(shè)區(qū)。

1987年4月，改設(shè)上義鎮(zhèn)。