周以前遜克縣為肅慎地。

漢至三國時期屬挹婁地。

隋唐時為靺鞨黑水部及室韋地。

遼時為女真地。

金時屬扶余路的轄境。

元時為斡赤斤分地，屬開元路管轄。

明時為速溫河衛(wèi)所轄。

清光緒三十二年（1906），于遜河地方設(shè)置畢拉爾路鄂倫春協(xié)領(lǐng)公署，管理鄂倫春族事務(wù)。

清宣統(tǒng)元年（1909），于奇克勒設(shè)置卡倫，隸屬璦琿兵備道。

1914年畢拉爾路鄂倫春協(xié)領(lǐng)公署駐車陸。

1915年6月2日，撤銷奇克特卡倫，改設(shè)奇克特縣佐，隸屬璦琿縣。

1916年5月15日，設(shè)置遜河稽墾局。

1928年11月27日，將遜河稽墾局改為遜河設(shè)治局，隸屬黑河道。

1929年2月11日，將奇克特縣佐改升奇克設(shè)治局；同年3月15日，將奇克設(shè)治局改為奇克縣，為三等縣，由黑龍江省直轄。

1932年7月1日設(shè)置遜河縣，隸黑龍江省管轄。

1933年3月，設(shè)立偽滿奇克縣公署、遜河縣公署。

1934年12月，遜河縣、奇克縣劃歸新設(shè)之黑河省管轄。

1943年7月1日，將遜河縣和奇克縣合并為遜克縣，隸屬黑河省。

1945年，劃歸黑龍江省管轄。

1946年9月，改歸黑河專區(qū)管轄。

1980年隸屬黑河市管轄。

名稱沿用至今。