清代為杜爾伯特旗游牧地，屬齊齊哈爾副都統(tǒng)轄區(qū)。

清末，清光緒三十二年（1906），屬安達廳轄境。

清光緒三十四年七月初九日（1908），黑龍江巡撫周樹模奏準，擬在大林家店設置林甸縣。

后因“墾戶未集，地利未辟”，從緩設置。

中華民國成立后，1912年10月，于安達廳北境東集鎮(zhèn)（原稱“大戚家店”，今林甸鎮(zhèn)）設置東集鎮(zhèn)稽墾局，辦理放荒招佃和督墾事宜。

翌年，于大戚家店東1里處丈放街基筑城（今林甸鎮(zhèn)）。

1914年1月1日，將東集鎮(zhèn)稽墾局改設林甸設治局，隸屬龍江道。

1917年7月13日，黑龍江省長令，將林甸設治局改為三等縣，并委官和頒發(fā)印信，代理縣知事于7月14日啟用印信，正式改為林甸縣。

同年8月21日，北京政府照準，1923年后，與依安、泰康、安達等鄰縣（設治局）進行過區(qū)劃調(diào)整。

1929年2月，撤銷道的建制，改由黑龍江省直轄。

東北淪陷后，初隸黑龍江省，1934年12月改隸龍江省。

1945年“九三＂抗日戰(zhàn)爭勝利后，劃歸嫩江省管轄。

1947年2月至9月，曾隸屬黑龍江嫩江聯(lián)合省第三專區(qū)管轄。

1949年5月，黑嫩兩省合并后，求屬黑龍江省管轄。

1954年8月，劃歸新設嫩江專區(qū)管轄。

1956年將西南部的第八區(qū)劃歸杜爾伯特旗。

1960年5月至1961年10月，改由齊齊哈爾市領導。

1985年1月，正式撤銷嫩江專區(qū)，復歸齊齊哈爾市領導。

1992年8月21日，國務院批準，劃歸大慶市領導。

省政府于9月26日下發(fā)通知，從12月1日起變更隸屬關系。