碧霞宫之北有一突起的小山头，平顶削壁，高约4米，南北略长，人称“山上之山”。其西壁并排有两个石窟，南窟即千佛洞。券形洞口高150厘米，上额刻“佛国”二字，下面刻有六个巴思巴文，刊于至元六年（1340年）。洞高250厘米，穹窿顶，饰有藻井。进深3米，窟内四壁造像990余个，最高的2米，最小的只有4厘米，已大部无头。
　　洞口内前方刊有大唐永隆元年（680年）、开耀二年（682年）、永淳二年（683年）、如意元年（692年）等时期的题记。石窟开凿于盛唐时期。
　　北窟洞口高150厘米，阔2米进深170厘米，穹窿顶，饰有藻井。窟内雕有大小佛像120余尊，具已无头。洞内壁上刊有宋代嘉佑，明代成化年间题记。这是两个石窟中最晚的题记纪年。
　　小山头的南、北、西三面凿有很多佛龛，多为唐代造像。有元、明、清各代题记，均有一定的书法价值。
　　千佛洞石窟造像虽大部残损，但它还保留着盛唐时期的石刻艺术作品，是一批珍贵的文化遗产。1963年公布为省级重点文物保护单位。
　　千佛寺与千佛洞紧邻，寺以千佛洞得名，《河朔访古录》载：“千佛寺始建失考。寺内有石崖，高丈余，上建阁以祀真武。崖下凿洞二，并大小佛像身躯，而所谓千佛洞也。”于此可知建寺当在凿窟之后。
　　千佛寺现存建筑有水陆殿七间，十八罗汉殿五间，两廊各五间，一向作校舍用，已非佛寺面目。院内有桧柏一棵，高约4丈，围粗7尺余，枝叶盛茂。据测，有千年之久。
　　从残存碑刻和清代碑记考稽，千佛寺当建于胜唐。因寺内有千佛洞而得名。窟之洞有佛像千余，故称'千佛洞'。内供三世佛，仰覆莲花须弥座，洞壁有唐代唐高宗、武后年间的题词，洞口有书法家程?题'佛国'二字。洞前有卷棚顶拜殿为清代所建。

　　千佛寺前院，有一孤山有石峰，高约4米，面积150平方米，南北两端凿石阶数级。供游人攀登。峰西南下建有一石坊，横额书'即武当'三字。石峰巅有旧庙一间，内讫真武。

　　千佛寺石窟历史悠久，为我国石窟艺术瑰宝。1963年列为省级文物保护单位，同年，郭沫若同志亲笔指示，要保护好千佛寺石窟，2001年与大石佛一起被国务院公布为国家级重点文物保护单位。