春秋時期，今遵義市管轄地域分屬鱉、鳛及巴、蜀、牂牁等方國。

戰(zhàn)國時屬夜郎國。

秦置鄨縣，屬巴郡。

西漢元光五年(前130)置犍為郡，治鄨縣。

元鼎六年(前111)改隸牂牁郡。

晉平夷郡領鄨縣地。

隋于東境置明陽郡(今鳳岡)；其西境屬牂州，隋煬帝時改牂州為牂柯郡，唐初廢。

唐貞觀九年（635）以隋牂柯郡北部地置郎州(今遵義)。

十三年將郎州更名播州，州治恭水縣。

次年更名羅蒙縣，十六年（642）更名遵義縣。

此為遵義名之始。

十六年于北境置珍州，治夜郎縣(今桐梓)。

十七年又置溱州。

景龍二年(708)于播州設都督府，先天二年(713)廢。

北宋乾德三年(965)復置珍州(今正安、道真)。

大觀二年(1108)置播州、承州和遵義軍；三年置滋州，均隸夔州路。

宣和三年(1121)滋、溱、承、播諸州及遵義軍皆廢。

南宋開禧三年(1207)復置遵義軍，嘉定十一年(1218)廢。

嘉熙三年(1239)置播州安撫司，治播川縣。

元至元二十一年(1284)置遵義軍民總管府；二十六年改播州為播南路；二十八年置播州軍民宣撫司，治今遵義市，隸四川行省。

明洪武五年(1372)以宣撫司地置播州宣慰司，隸四川；改遵義軍民總管府為播州長官司。

萬歷二十九年(1601)廢播州宣慰司，分置遵義、平越兩軍民府。

前者治遵義縣，轄真安州及遵義、桐梓、綏陽、仁懷4縣，隸四川；后者屬貴州。

清康熙二十六年(1687)改遵義軍民府為遵義府。

雍正五年(1727)遵義府由四川劃歸貴州。

1913年廢府、州、廳改置縣，屬黔中道。

1935年設第五行政督察區(qū)，駐桐梓縣。

1936年督察專員公署移駐遵義城。

1949年置遵義專區(qū)。

1956年余慶縣劃入。

1958年息烽縣劃入。

1963年開陽縣劃入。

1965年息烽、開陽2縣劃歸安順專區(qū)。

1970年改稱遵義地區(qū)。

1997年撤遵義地區(qū)設地級遵義市，縣級遵義市改設紅花崗區(qū)。

2004年6月，成立匯川區(qū)。

2016年3月，撤銷遵義縣，設立播州區(qū)。

至此，遵義市共轄3區(qū)7縣2自治縣，代管2市。