Di tích Nhà thờ cụ Lê Văn Hoa và Miếu Long Hồ Ngọc nữ thuộc xóm Long hội nay là thôn 4 xã Sơn Bình, đến nay đã hơn 15 đời. Theo gia phả Họ Lê cụ Lê Văn Hoa và con gái là cô Lê Thị Kế là người lương thiện và có tấm lòng bác ái, thương yêu người nghèo khổ. Thường xuyên làm việc thiện, giúp đỡ Nhân dân trong vùng. Vùng đất này thời đó thường xuyên bị thiên tai, ngập lũ, dân tình đói kém, hưởng ứng lời kêu gọi của Nhà Nguyễn cụ Lê Văn Hoa đã chung tay cứu đói Nhân dân nên đã được Triều đình nhà Nguyễn ban thưởng bấc đại tự và 5 đồng tiền Phi Long cũng như tấm lòng nhân ái của cô Lê Thị Kế, thường xuyên giúp đỡ các mảnh đời khó khăn cũng như sự linh thiêng khi khuất đã thấm sâu vào đời sống tâm linh của dân cư trong vùng nên cô được triều đình Nhà Nguyễn sắc phong 2 lần và giao cho Nhân dân Yên Đồng thờ phụng, hương khói. Ghi nhận về những đóng góp của cụ Lê Văn Hoa và con gái là cô Lê Thị Kế và những giá trị tư liệu hiện vật sắc phong được triều Nguyễn ban tặng ngày 29/9/2021, UBND tỉnh Hà Tĩnh đã ban hành quyết định só 3287/QĐ–UBND công nhận Nhà thờ Lê Văn Hoa và Miếu Long Hồ Ngọc Nữ là di tích lịch sử văn hóa cấp tỉnh, nơi thờ cụ Lê Văn Hoa và con gái Lê Thị Kế.

Nhà thờ cụ Nhà thờ Lê Văn Hoa và Miếu Long Hồ Ngọc Nữ được xếp hạng di tích LSVH cấp tỉnh là một vinh dự to lớn cũng như trách nhiệm của Đảng bộ, Nhân dân xã Sơn Bình và đặc biệt con cháu dòng tộc họ Lê Văn trong việc phát huy và bảo tồn những giá trị truyền thống tốt đẹp của dòng họ làm lan tỏa tinh thần đến các thế hệ con cháu hôm nay và mai sau.