西漢時(shí)期，縣境東部屬牂牁郡句町、鐔封、進(jìn)桑、宛溫縣，西部屬益州郡、毋棳縣。

蜀漢為庲降都督府興古郡。

隋屬南寧州總管府昆明。

唐南詔時(shí)期屬通海都督府轄地。

宋大理時(shí)期屬最寧鎮(zhèn)維摩部、教合三部、廣南西路和哈迷萬戶府。

明分屬臨安府阿迷州教化長官司，廣南府和廣西府維摩州。

清為開化府文山縣、廣西直隸丘北縣、廣南府寶寧縣、臨安府阿迷州轄地。

清道光三年（1823），設(shè)江那縣丞。

1912年，設(shè)江那縣佐（江那、盤龍、八嘎一帶），隸屬文山縣。

1932年，江那縣佐和廣南縣的小維摩縣佐（維摩、阿猛、阿基一帶）析出，合并成立硯山設(shè)治局。

1935年7月1日，設(shè)置硯山縣，隸屬云南第六區(qū)團(tuán)練督練處，今西部稼依、平遠(yuǎn)、阿舍一帶時(shí)屬開遠(yuǎn)東山區(qū)，后屬云南省第二區(qū)（后改為第四區(qū)）行政督察文山專員公署。

1958年10月，硯山縣與文山縣合并為文山縣，撤銷硯山縣制。

1961年8月31日，文、硯分縣恢復(fù)硯山縣制，至今。