秦代屬長沙郡。

西漢初置桂陽縣，屬長沙國。

漢景帝元年（前156），以湘、粵北地置桂陽郡，桂陽縣隸屬桂陽郡。

隋開皇十年（590），始設連州，治所在桂陽（今連州）。

大業(yè)元年（605），連州改稱熙平郡。

唐武德四年（621），裁熙平郡復置連州。

天寶元年（742），改連州為連山郡。

乾元元年（758），復名連州。

元至元十七年（1280），升為連州路。

清雍正七年（1729），改為連州直隸州。

1912年，連州改連縣。

1958年11月，連縣、陽山、連南、連山四縣合并，稱連陽各族自治縣。

1960年10月，分出陽山縣，稱連州各族自治縣。

1961年10月，又分出連南、連山兩縣，復名連縣。

1994年4月22日，撤銷連縣，設立連州市（縣級），由清遠市代管。