唐宋时期，佛教文化在湖南大围山地区大量传播，并留下了以玉泉寺、白面将军庙、陈大仙人庙、李氏家庙、汤踌墓等为代表的六处大型寺庙建筑群。农历七月赶庙会、唱山歌的风俗一直流传至今。

据史料分析，大围山是湘东的佛教圣地和楚文化传播中心之一。南宋进士出身的大学士汤涛就诞生在这里，死后葬在白面石。近代改良派政治家、思想家谭嗣同也在此云游求学。1927年9月11日，毛泽东同志率领秋收起义部队第三团，从江西铜鼓出发，经过扁担坳，并在此决策，分三路包围白沙，经一小时激战，攻克白沙，旗开得胜，当晚返回大围山宿营地。老一辈无产阶级革命家彭德怀、王首道同志亦在此地开展过革命活动。