Theo lưu truyền chùa được hình thành từ lò gạnh bị bỏ hoang. Cụ thể năm 1945, trên bước vân du hành đạo miệt Hà Tiên, Hòa thượng Thích Chí Hoà, (thế danh Nguyễn Văn Tịnh) đã dừng chân tại chỗ này và lập nên một ngôi chùa nhỏ bằng cây lá mang tên là Tịnh Xá Chí Hòa. Và vì cái lò gạch được sử dụng làm chánh điện, để tụng kinh bái sám, nên dân địa phương gọi là chùa Lò Gạch. Trong thời gian trụ xứ và giáo hoá tại bổn tự, Hòa thượng đã mở mang khu vực xung quanh và xây cất thêm nhiều am tranh tịnh thất để tiếp Tăng độ chúng.

Chùa Bổ Đà: Nơi có vườn tháp đẹp và lớn nhất Việt Nam

Năm 1949, Hòa thượng cùng với vài đệ tử sang Campuchia để hoằng pháp. Một năm sau đó, Ngài trở về lại quê hương và tham gia kháng chiến chống Pháp.

Năm 1954, Hòa thượng viên tịch tại Bà Rịa-Vũng Tàu. Người kế vị trụ trì là Hòa thượng Thích Quảng Tấn.

Ngài Quảng Tấn thế danh là gì, sanh năm nào, ở đâu, hành trạng ra sao, không ai rõ. Chỉ biết rằng sau khi Ngài Quảng Tấn tịch thì bà Dương Thị Thoàn, pháp danh Diệu Trí, người bí mật hoạt động cách mạng với bí danh là Trần Thị Thanh đã đến ở và coi sóc chùa.

Do chiến tranh kéo dài, thiếu người chăm sóc, tu bổ nên chùa bị hư hỏng, xuống cấp nặng. Năm 1993, sau khi được Ban trị sự Tỉnh hội Phật giáo Kiên Giang đã bổ nhiệm về làm trụ trì, sư Thích Huệ Tâm kêu gọi Phật tử cùng chung tay trùng tu ngôi chùa khang trang như hiện nay và cũng từ đây ngôi chùa được đổi tên thành chùa Phật Đà.

Năm 2009 chùa được trùng tu lại rất khang trang với đầy đủ các phòng nhà cần thiết cho sự sinh hoạt của một Tòng lâm. Mặc dù cơ sở không qui mô nhưng với lối kiến trúc hài hòa, chùa Phật Đà đã góp vào cụm thắng tích “Bình San Điệp Thúy” một danh lam Phật tự thật trang nghiêm, thanh nhã.

Chùa Nhật Thác: Ngôi chùa cô độc nhất thế giới

Kiến trúc bao gồm: Chánh điện, nhà thờ tổ, Đông lang, Tây lang, nhà phương trượng và tăng phòng. Chánh điện được trùng tu trên nền lò gạch cũ, có hình dáng kiểu lò nung gạch. Bên trong Chánh điện có hình tượng vị bồ tát cầm phương trượng, nét mặt từ bi, tự tại mang hình tượng ngài Mục Kiền Liên đi tìm mẹ ở chốn âm cung. Cũng có người cho rằng đó là pho tượng ngài Đường Tam Tạng đi thỉnh kinh ở Tây Thiên, khi đã đắc đạo hóa thân thành Bồ tát. Bên trong chánh điện, được trang trí với nền trần màu vàng làm nổi bật tượng Phật được thiết kế màu nâu...Không chỉ đẹp - độc về kiến trúc, chùa Lò Gạch độc đáo mà còn là một không gian thiền định. Trước sân chùa có cây cổ thụ có hệ thống rể độc đáo đan bện vào nhau như khối bệ vững chắc. Khai thác lợi thế tự nhiên này, nhà chùa đã cho đặt tượng Phật thiền định lên trên.

Không gian chùa Phật Đà đẹp bình dị, nhưng trang nghiêm, thanh tịnh, thân tâm lữ khách luôn thư thái, an hòa.