秦時(shí)，境內(nèi)金沙溪以東屬會(huì)稽郡太末縣，金沙溪以西屬九江郡余汗縣。

漢獻(xiàn)帝初平三年（192），析太末縣東境置新安縣，東部屬新安縣。

建安十五年（210），析余汗東境置葛陽(yáng)縣，西境屬葛陽(yáng)。

建安二十二年（217），析新安縣東境置定陽(yáng)縣，東境屬定陽(yáng)。

三國(guó)時(shí)，為吳國(guó)領(lǐng)地。

西晉元年（266），分會(huì)稽西部設(shè)東陽(yáng)郡，隸吳州，東境屬之。

太康元年（280），新安縣更名為信安縣，東境分屬信安、定陽(yáng)兩縣。

南朝（陳）天嘉三年（562），東境隨信安、定陽(yáng)兩縣改隸金華郡。

隋初，郡改為州，定陽(yáng)縣并入信安縣，東境屬信安縣，隸婺州。

開(kāi)皇十二年（592），葛陽(yáng)縣更名為弋陽(yáng)縣，西境屬弋陽(yáng)縣。

唐初，境地分屬衢州常山、須江縣（今江山市）和饒州弋陽(yáng)縣。

唐證圣（周）年（695），析須江、常山、弋陽(yáng)之地置玉山縣，以境內(nèi)有懷玉山得名，隸江南道衢州。

天寶元年（742），衢州改稱信安郡，隨隸信安郡。

乾元元年（758）置信州，改屬信州，隸江南東道，并劃須江縣南鄉(xiāng)鎮(zhèn)頭墟至下鎮(zhèn)墟歸玉山縣管轄。

宋仍屬信州。

建炎四年（1130），隸江南路；紹興元年（1131），隸江南東路。

元至元十四年（1277），隸江浙行中書(shū)省信州路。

至正二十年（1360）六月，改信州路為廣信府，隨屬?gòu)V信府，仍隸江浙行中書(shū)省。

明洪武四年（1371），隨廣信府改隸江西行中書(shū)省。

洪武九年（1376），廢行中書(shū)省，設(shè)承宣布政使司，下分道，隨府隸江西承宣布政使司湖東道。

清屬江西省廣信府。

民國(guó)元年（1912）冬，廢府、州，縣直隸江西省。

三年（1914），江西全省分四道，玉山屬豫章道。

十五年（1926），廢道，直隸省轄。

二十年（1931），省下設(shè)行政區(qū)，玉山隸江西省第九行政區(qū)。

二十一年（1932），隸江西省第六行政區(qū)。

1949年5月5日，玉山縣解放，隸贛東北行政區(qū)；同年9月，贛東北行政區(qū)撤銷，隸上饒專區(qū)。

1971年隸上饒地區(qū)。

2000年10月，隸上饒市。