圖們地區(qū)開發(fā)較晚，雖然境內先后發(fā)掘出新石器時期的一些文物和遼金時期的遺址，遺物等，但直到距今約一百年前，圖們一帶還是一片荒涼的林地和草甸地。

清順治元年（1644）至光緒七年（1881），圖們市地區(qū)屬于清朝南荒圍場是被封禁二百余年。

康熙五十三年（1714）至光緒七年（1881）為一琿春協(xié)領管轄，光緒七年（1881）至光緒二十七年（1901）為琿春副都統(tǒng)南崗招墾局志仁社，光緒二十八年（1902）屬琿春副都統(tǒng)管轄的延吉廳志仁社和春華社，宣統(tǒng)元年（1909）到清朝末年（1911）為東南兵備道延吉府，1913年為東南觀察使延吉縣公署志仁鄉(xiāng)，1914年為延吉道尹延吉縣公署志仁鄉(xiāng)。

1925年叫做下甸子或艾蒿甸子。

1931的始成百余戶的小鎮(zhèn)，劃為延吉縣屬。

1932年開始，有日本勘測隊活動于敦（化）圖、牡（丹江）圖兩線，1933年，敦圖鐵路通車，以灰幕洞（或稱會幕洞，檜幕洞、海幕洞，開幕洞等）為其終點站。

同時在圖們市區(qū)大興土木，人口突增至2萬多人。

由于灰幕洞這一名稱不符合通行的國際城市命名要求，故于1933年6月1日將灰幕洞改稱圖們（因圖們江而得名），為延吉縣所轄第一區(qū)。

1936年，偽滿州國設間島省延吉縣公署，縣內區(qū)改村、市改街，圖們市改稱圖們街。

1945年1月，圖們街改為延吉縣轄圖們市。

1965年4月，把原屬延吉縣的圖們鎮(zhèn)和原屬汪清縣的石峴鎮(zhèn)劃出成立圖們市，同年5月1日經(jīng)全國人大常委會批準始定稱為市。