古屬羌地，與世居河西走廊的古老民族月氏（ròuzhī）人毗鄰。

漢高祖六年（前201）月氏人遭匈奴人攻擊，大部西遷，小部分南入祁連山，稱小月氏，與海北地區(qū)羌人雜居。

西漢神爵元年（前61），置臨羌縣，今州境東南部屬臨羌縣，隸金城郡。

新莽在今海晏縣設(shè)置西�？�，治龍夷城（今海晏縣三角城），今海晏、剛察縣為西�？ぽ爡^(qū)。

更始元年（23），郡廢，復(fù)為羌地。

東漢永元十四年（102），移金城西部都尉駐此，今海晏、剛察縣仍屬之。

三國(guó)時(shí)，今海晏縣屬西平郡臨羌縣地，今州境其余地區(qū)仍為羌地。

西晉因之。

前涼時(shí)，分屬西平郡長(zhǎng)寧縣、西平郡臨羌縣、祁連郡和鮮卑乙弗部（又稱“乙弗勿敵國(guó)”）。

北魏時(shí)，州境大部為吐谷渾(tǔyùhún)國(guó)地，僅今門源縣屬西平郡西都縣。

孝明帝孝昌二年（526），今門源回族自治縣入吐谷渾。

隋大業(yè)五年（609），破吐谷渾，在其故地置郡縣，今剛察、海晏、祁連3縣西海郡屬宣德縣。

隋亡，吐谷渾復(fù)其故地。

唐龍朔三年（663），入吐蕃。

北宋初屬唃廝啰(ɡūsīluō)地方政權(quán)轄地。

崇寧三年（1104），分屬湟州和吐蕃諸部。

政和六年（1116），北宋于此置震武軍，治在今門源回族自治縣克圖鄉(xiāng)古城，隸熙河蘭湟路。

元屬吐蕃等處宣慰使司，隸宣政院。

明初州境大部分地區(qū)為藏族部落居地。

明洪武八年（1375），置罕東百戶所于今剛察縣，洪武三十年（1397），改為罕東衛(wèi)。

罕東衛(wèi)西移后，今剛察縣隸朵甘行都指揮使司。

清雍正二年（1724），設(shè)大（dài）通衛(wèi)于北大通城（今門源回族自治縣浩門鎮(zhèn)），隸西寧府，今門源全境和祁連縣東部屬之。

次年，分置和碩特北右旗、前左頭旗、西右前旗、南左末旗、南右后旗、東上旗，統(tǒng)歸欽差辦理青海蒙古番子事務(wù)大臣（簡(jiǎn)稱青海辦事大臣或稱西寧辦事大臣）節(jié)制。

雍正五年（1727），又于衛(wèi)治置大通鎮(zhèn)。

雍正十三年（1735），裁大通鎮(zhèn)改設(shè)大通協(xié)，歸西寧鎮(zhèn)總兵節(jié)制。

乾隆九年（1744），移大通衛(wèi)治于白塔（今大通回族土族自治縣老城關(guān)），今門源全境和祁連東部仍為大通衛(wèi)轄地。

乾隆二十六年（1761），省衛(wèi)置大通縣，今門源全境和祁連東部屬大通縣，隸西寧府。

1917年，海晏屬湟源縣和都蘭理事公署。

1929年，析置亹源縣，直屬于青海省，今剛察縣為都蘭理事公署轄區(qū)。

1937年，改設(shè)海晏設(shè)治局。

1939年由門源縣析置祁連設(shè)治局。

1943年，設(shè)海晏縣，直屬青海省。

1953年12月，設(shè)海北藏族自治區(qū)(地級(jí))，自治區(qū)人民政府駐亹源回族自治縣浩門鎮(zhèn)，1955年，改海北藏族自治區(qū)為自治州，州人民政府駐地不變。

1959年，改亹源回族自治縣為門源回族自治縣。

1993年7月，州人民政府駐地遷至西海鎮(zhèn)。