西漢至十六國時期，黃羊鎮(zhèn)境域分屬武威郡張掖縣和鸞鳥縣。

北魏至隋初，屬武威郡林中縣。

唐宋年間，復歸姑臧縣。

元時，屬永昌路西涼州。

明清時期，先后歸涼州衛(wèi)和武威縣。

1949年9月，分屬靖邊、張義區(qū)。

1952年7月，屬第十一區(qū)（靖邊）。

1956年1月，分屬黃羊、二壩鄉(xiāng)。

1958年10月，屬黃羊公社。

1961年5月，分屬廣場、二壩、七里公社。

1980年3月，從廣場公社劃出鎮(zhèn)區(qū)部分設(shè)立黃羊鎮(zhèn)。

1983年7月，境域分屬廣場、二壩、七里鄉(xiāng)和黃羊鎮(zhèn)。

1986年1月，廣場、七里鄉(xiāng)并入黃羊鎮(zhèn)。

2004年7月，二壩鄉(xiāng)并入黃羊鎮(zhèn)。