春秋属狄域，战国为赵地，秦属雁门郡，隋置善阳县、神武县，唐为马邑县地，辽置河阴县，金大定七年始称山阴，此后虽一度改为忠州并入金城县，但为时较短，后有复置山阴县，至今未变。宋、辽时的“金沙滩大战”就发生在山阴县境内。明朝为县制，属应州辖。县城故址，在桑干河南，即今山阴城。 历史上也不乏名人志士：有北魏安远将军庚岳、唐朝芮国公苑君璋、宋赵匡胤的大将米信、辽丞相沙彦恂、元朝平阳元帅安明本、明代内阁首辅王家屏、清朝梁启超的老师崔增瑞等。