遵化在夏、商，为幽、冀之地。

周初，为燕地。

春秋，属无终国，战国燕灭无终，属燕之古北平郡。

秦，为右北平郡、渔阳郡地。

汉，为徐无县、俊靡县，属右北平郡。

三国魏，除徐无、俊靡二县外，兼有土垠县地。

晋初，仍为徐无、俊靡二县，属北平郡，后俊靡并入徐无县。

北魏太平真君七年（446年），废北平郡，徐无县改属渔阳郡；北周，徐无并入无终县属渔阳郡。

隋大业三年（607年），废无终并入渔阳县。

唐武德二年（619年），分渔阳复置无终县，贞观初又废，乾封初复置，属幽州。武后万岁通天二年（697年），为玉田县地，属营州。开元十八年（730年），属蓟州。天宝元年至四年（742—745），在玉田县东北90里设平州买马监（养马机构），后以民聚从玉田县划出为遵化县。

民国三十七年（1948年），划为冀东区行署直属县。

新中国成立后，遵化属河北省唐山专署。

1983年，撤唐山地区，遵化划为唐山市管县。

1992年，设立遵化市（县级市），唐山市代管。