江山历史悠久，唐武德四年（公元621年）建县，1987年撤县设市。春秋战国时，江山为姑蔑一部分。春秋末国属越国，战国后期属楚国。秦王政二十五年（公元前222），属会稽郡太末县。新王莽始建国元年（公元9年），改太末县为末治县，东汉建武元年（公元25），恢复太末县名。先后属末治县、太末县。东汉初平三年（192），析太末县西部置新安县，属会稽郡新安县。三国时期孙吴宝鼎元年（266），划会稽郡一部置东阳郡，属东阳郡新安县。西晋太康元年（280），改为信安县，南朝陈天嘉三年（562），东阳郡改为金华郡，隋朝初年，又易名婺州，大业三年（607）复为东阳郡。唐武德四年（621），析信安县之南川置须江县，以城南有须江得名，隶属越州总管府衢州，为江山建县之始。武德六年，属婺州管辖，垂拱二年（686），恢复衢州，江山属衢州信安县，689年复置须江县，属衢州。五代后唐长兴二年、吴越宝正六年（931），钱鏐因县南有江郎山，改须江县为江山县，南宋咸淳三年（1267），改名礼贤县，1276年复名江山。清宣统三年（1911），辛亥革命后，属衢州军政分府管辖。民国元年，直属于省。三年，省以下设道，属金华道，16年废，24年，属省第五行政督察区，37年，改隶第三行政督察区。1949年5月6日江山县解放，属衢州专区。1955年改属金华专区。1985年分设金华、衢州两市，属衢州市。1987年11月27日，国务院批准撤销江山县，设立江山市（县级），属衢州。