先秦時期，屬濊貊之地。

西漢、魏晉及南北朝前期屬北夫余之地。

隋唐時期為靺鞨里水部之地。

遼金時期屬上京會寧府東北境。

金貞佑三年（1215）有副都統(tǒng)設(shè)置，天泰七年（1221）有“奪與古阿謀克”管理，明代永樂四年設(shè)亦瑪刺（山）衛(wèi)（即驛馬山），清代中興鎮(zhèn)（巴彥鎮(zhèn)）已具規(guī)模，清咸豐九年（1859）設(shè)中興鎮(zhèn)（今巴彥鎮(zhèn)），同治元年（1862）巴彥蘇蘇地方設(shè)呼蘭廳理事同知衙門，是黑龍江區(qū)域第一個設(shè)民官的地方，為巴彥建治之始。

光緒三十年（1905）改設(shè)巴彥州。

1913年改為巴彥縣，屬黑龍江省綏蘭道，1932年隸屬偽黑龍江公署，1934年改屬偽濱江省，1945年8月解放，11月5日成立巴彥縣，屬濱江省直轄。

1946年1月屬松江省哈北專員公署，1954年歸屬黑龍江省直轄。

1956年3月屬綏化專員公署，1960年4月屬哈爾濱市，1965年6月屬新松花江專署，1996年11月隨松花江地區(qū)專署并入哈爾濱市管轄，名稱沿用至今。