西漢至十六國“五涼”時期，張義鎮(zhèn)境域?qū)傥渫堃纯h，張掖縣治所即今涼州區(qū)張義鎮(zhèn)一帶。

北魏至隋初，屬武威郡林中縣。

元代時期，屬永昌路西涼州。

明清時期，先后歸涼州衛(wèi)和武威縣。

民國元年（1912年）后，屬武威縣張義鄉(xiāng)。

民國三十八年（1949年）9月后，屬張義區(qū)。

1952年7月，屬第十二區(qū)（張義）。

1956年1月，屬張義、中路、沙金臺鄉(xiāng)。

1958年10月，張義、中路、沙金臺鄉(xiāng)合并成立張義公社。

1962年，分設為張義、中路、上泉公社。

1983年7月，分屬張義、中路、上泉鄉(xiāng)。

2002年8月，張義撤鄉(xiāng)建鎮(zhèn)。

2004年7月，中路、上泉并入張義鎮(zhèn)。