呂梁的建置，最早可追溯到春秋時代。

當時呂梁有屈邑、平陵邑、中陽邑及瓜衍縣等。

公元前376年，韓、趙、魏“三家分晉”以后，呂梁為趙國境域，境內(nèi)設有中陽、茲氏、大陵等。

秦莊襄王四年（前246）設太原郡后，呂梁遂為太原郡境域，設有大陵、茲氏等縣。

漢初，呂梁仍為太原郡境域。

漢武帝元朔四年（前125）分設西河郡后，呂梁分屬西河、太原、平陽三郡。

大陵、平陶、茲氏為太原郡轄縣；藺、皋狼、中陽、離石、土軍、隰成、臨水為西河郡轄縣；蒲子縣為平陽郡轄縣。

王莽代漢后，茲氏縣改茲同，大陵縣改大寧，平陶縣改多穰，臨水縣改監(jiān)水。

東漢始立后各縣遂復舊名。

東漢初，呂梁屬于西河、太原、河東三郡。

離石、藺、皋狼、臨水、中陽、平周為西河郡轄縣；大陵、平陶、茲氏為太原郡轄縣；蒲子縣屬河東郡。

永和五年（140）九月“因匈奴寇掠，西河郡治南徙五百九十里”遷至離石縣，為呂梁境內(nèi)最早的郡級建置。

同年，臨水縣并入離石。

中平年間美稷縣“南徒于茲氏縣界，尋廢”。

建安二十一年（218）“南匈奴內(nèi)附”，左部居于茲氏，中部居于大陵。

三國初分，呂梁為魏國境域。

黃初二年（221）設置西河郡，治茲氏縣，轄離石、中陽等縣；大陵、平陶二縣仍屬太原郡，蒲子縣仍為平陽郡轄縣。

西晉，呂梁境內(nèi)各縣分屬于西河國和太原國，屬縣未變，僅茲氏縣改隰城。

東晉十六國時期，呂梁境內(nèi)較為混亂。

后趙石勒元年（319）“以離石縣境荒廢”設置永石郡，尋改西河，后燕置離石護軍。

永興后西河郡并入太原郡。

北魏初立，呂梁為太原郡境域，設置有大陵、平陶、茲氏等縣。

天興初增設離石鎮(zhèn)，延和三年（434）設吐京鎮(zhèn)，太平真君九年（448），吐京鎮(zhèn)下設嶺東、嶺西二縣，平陶縣移出區(qū)境，大陵縣改受陽。

太和八年（484）復置西河郡，太和十年（486）吐京鎮(zhèn)改吐京郡，同年，廢蒲子縣，設汾州，吐京、西河等五郡為其轄郡。

太和十七年（493）設永安縣，太和二十一年（497）嶺東縣改新城，嶺西縣改吐京。

東魏，呂梁仍為汾州和太原郡境域，汾州轄西河、吐京等郡，隰城、永安二縣屬西河郡；吐京、新城二縣屬吐京郡；受陽縣仍屬太原郡，離石境域仍設離石鎮(zhèn)。

北齊、北周之際，呂梁當兩政權紛爭之地，北齊斛律金所筑長城的起點——金鎖關即在區(qū)內(nèi)黃蘆嶺上，今遺址尚存。

當時呂梁境內(nèi)設有西汾州懷政郡、南朔州西河郡、吐京郡神武郡和并州太原都。

南朔州系由汾州改稱，治所仍設隰城，西河郡隸屬之。

離石鎮(zhèn)改懷政郡，轄縣有昌化、良泉等縣，蔚汾縣屬神武郡，受陽縣屬太原郡，吐京、新城二縣屬吐京郡，后因裁郡改屬懷政郡。

北周建德年間，西汾州改稱石州；大象年間，南朔州改稱介州；并增設定胡、窟胡、烏突三縣及同名郡。

隋，呂梁分屬于離石郡、西河郡、太原郡、樓煩郡、龍泉郡。

離石、修化（窟胡縣改）、太和（烏突縣改）、平夷、定胡、寧鄉(xiāng)等縣屬離石郡，西河郡轄縣有隰城、永安二縣，受陽縣仍屬太原郡，嵐城縣屬樓煩郡，石樓縣屬龍泉郡。

唐代，呂梁分屬于石州、汾州、隰州、嵐州、并州（后改太原府）。

西河（隰城縣改）、孝義（永安縣改）二縣屬汾州，離石、平夷、定胡、臨泉、方山屬石州，宜芳、合河二縣屬嵐州；石樓、溫泉二縣屬隰州，交城、文水二縣屬并州（太原府）。

五代時期，呂梁境域內(nèi)所屬未變。

宋代，呂梁分屬于石州、汾州、嵐卅、隰州，晉寧軍、太原府。

離石、平夷、方山為石州轄縣。

西河、孝義為汾州轄縣；宜芳、合河為嵐州轄縣；石樓、溫泉為隰州轄縣；定胡、臨泉為晉寧軍轄縣；交城、文水二縣為太原府轄縣。

金代，僅因晉寧軍被撤銷，轄縣改屬石州，其它州縣的隸屬未變。

元代，呂梁大部屬于太原路（后改冀寧路）管轄，境內(nèi)設置有交城縣、文水縣、興州、嵐州、臨州、石州（轄離石縣、寧鄉(xiāng)縣）、汾州（轄縣有西河縣、孝義縣）。

石樓為晉寧路轄縣。

明初，呂梁除石樓縣屬隰州外，境內(nèi)州縣均屬太原府。

縣有興縣、嵐縣、臨縣、交城、文水，州有石州（轄寧鄉(xiāng)縣）、汾州（轄孝義縣）。

萬歷二十三年（1595）五月，汾州升為府，并倚郭設汾陽縣，原太原府所轄州縣、臨縣、永寧州及轄縣寧鄉(xiāng)縣和原汾州轄縣改屬汾州府，府治設汾陽縣城。

萬歷四十年（1612）石樓縣改屬汾州府，清代沿用明制，建置未變。

1912年取消汾州府建置，永寧州廢州改縣。

1914年1月，永寧縣改離石，寧鄉(xiāng)縣改中陽。

1918年，增設方山縣。

抗日戰(zhàn)爭和解放戰(zhàn)爭期間，呂梁各縣均屬晉綏邊區(qū)（先稱晉西北）行政公署。

1949年9月，山西省人民政府成立以后，呂梁境內(nèi)設興縣專區(qū)和汾陽專區(qū)，興縣專區(qū)轄有興縣、臨縣、離石、方山、嵐縣等11縣，汾陽專區(qū)轄縣有汾陽、孝義、交城、文水、中陽、石樓等9縣。

1951年3月27日汾陽專區(qū)撤銷，交城、文水、汾陽、孝義等縣劃歸榆次專區(qū)，中陽縣劃歸興縣專區(qū)；石樓縣劃歸晉南專區(qū)。

1952年7月1日，興縣專區(qū)撤銷，興縣、嵐縣劃歸雁北專區(qū)；臨縣、方山、離石、中陽劃歸榆次專區(qū)。

1954年7月1日，離石、方山二縣合并為離山縣。

1958年11月10日，文水、交城二縣并入汾陽縣，中陽縣與離山縣合并為離石縣，孝義縣并入介休縣，嵐縣分別劃入靜樂和興縣，石樓縣并入?yún)瘟嚎h。

1959年9月19日除孝義縣以外其它各縣恢復建置，1961年5月恢復孝義縣建置。

1971年5月，呂梁地區(qū)組建，同時恢復方山縣，新增設婁煩、交口二縣；1972年4月，婁煩縣劃歸太原市；1971年10月5日，新增設柳林縣。

1992年孝義撤縣設市；1996年離石撤縣建市；1996年汾陽撤縣建市；2003年，離石市改為離石區(qū)。

2003年，呂梁撤地設市至今。