Theo sử liệu và lưu truyền dân gian tại địa phương, vùng đất Ngọc Trà được bồi đắp bởi phù sa sông Yên, có con người đến đây khai phá đất hoang, sinh cơ lập nghiệp từ rất sớm. Ngọc phả của làng kể rằng, xa xưa, vào một năm sau trận mưa to gió lớn, nước sông dâng cao, có cây gỗ lớn vỏ ngoài sần sùi như vảy rồng, thân gỗ màu vàng sẫm từ ngoài sông Yên trôi vào trước làng. Khi người dân vớt lên thì phát hiện thân gỗ tỏa hương thơm ngát, gọi là gỗ Hương Long.

Từ cây gỗ quý vớt được, với tấm lòng mộ đạo, người dân Ngọc Trà đã cùng nhau phát tâm dựng chùa. Và người dân địa phương tin rằng, chùa Ngọc Trà (hay Bồng Hinh tự) được khởi dựng vào thời Trần. Đến thời Nguyễn, dưới triều vua Tự Đức (1853), trong lúc thanh nhàn đi vãn cảnh, hai ông Lê Đình Triệu và Lê Đình Đức thấy ngôi cổ tự đơn sơ, xuống cấp nên đã cùng nhau phát tâm công đức xây dựng lại chùa Bồng Hinh thêm phần khang trang.

Về kiến trúc chùa Bồng Hinh thời Nguyễn, theo sách Di tích và danh thắng huyện Quảng Xương: Chùa có kiến trúc hình chữ “Công”, tọa lạc trên nền đất cao, có diện tích gồm 2 mẫu 4 sào. Toàn bộ khuôn viên chùa gồm có chùa chính; cổng tam quan, gác chuông… Chùa được bố trí thành các ban thờ Phật, ban thờ người có công dựng chùa ở nhà Hậu cung; chùa có 2 văn bia ghi công đức người dựng chùa. Ngày nay, tại chùa Bồng Hinh hiện vẫn còn lưu giữ hai văn bia Ngọc Trà xã Hậu Phật bi kí và Hậu Phật bi kí. Trong đó, nội dung văn bia ca ngợi công đức cùng việc thờ cúng 2 ông Lê Đình Triệu và Lê Đình Đức.

Trong hai cuộc kháng chiến vệ quốc của dân tộc, chùa Bồng Hinh đã trở thành nơi mở lớp học; hội họp và là kho chứa lúa gạo. Đặc biệt, trong kháng chiến chống Mỹ, chùa Bồng Hinh là nơi đặt Ban Chỉ huy phà Ghép; cầu phao Ngọc Trà; là nơi cứu chữa thương binh… Qua thăng trầm thời gian, ngôi chùa bị xuống cấp toàn bộ (theo sách Di tích và danh thắng huyện Quảng Xương).

Theo Đại đức Thích Bản Hoài - Trụ trì chùa Bồng Hinh: “Năm 2004, chùa Bồng Hinh được xếp hạng di tích lịch sử văn hóa cấp tỉnh. Năm 2015, với tấm lòng hảo tâm công đức của bà con nhân dân, quý phật tử xa gần, di tích đã được tôn tạo trên nền móng cũ, đáp ứng nhu cầu tín ngưỡng của người dân. Vào tháng Giêng hằng năm, lễ hội chùa Bồng Hinh bên bờ sông Yên được tổ chức thu hút đông đảo người dân, phật tử trong và ngoài xã về tham gia”.