Năm 1797, Hòa thượng Luật Truyền, một nhà sư theo dòng Lâm Tế thiền tông, đã khởi xướng xây dựng ngôi Bạch thạch Từ Quang tự trên núi Bạch Thạch. Đại đức Thích Chúc Thuận, người được trao nhiệm vụ trông coi ngôi cổ tự này, cho hay: “Do được xây trên gò đá trắng, nên dân trong vùng hay gọi là chùa Đá Trắng, dù rằng bây giờ tên chùa là Từ Quang - Đá Trắng. Năm 1997, chùa được công nhận là di tích lịch sử - văn hóa cấp quốc gia”.

Do được lập dưới triều vua Quang Toản nhà Tây Sơn, nên có lưu truyền rằng sau khi nhà Tây Sơn mất, nhiều tướng quân Tây Sơn đã chọn ngôi chùa này để xuống tóc quy y nhằm tránh sự trả thù của nhà Nguyễn.

Rủ lên Đá Trắng ăn xoài/ Muốn ăn tương ngọt Thiên Thai thiếu gì… Ấy là nói về giống xoài ở ngôi chùa này. Đây là giống xoài tượng trái nhỏ như nắm tay thiếu niên, khác với các giống xoài khác, xoài ở đây có hoa màu vàng. Tuy nhiên, điều làm cho xoài ở đây nổi tiếng là bởi hương vị thơm dịu và ngọt lịm của nó. Và để phân biệt với các loại xoài khác, người ta gọi đây là xoài Đá Trắng.

Theo Đại đức Thích Chúc Thuận, vườn xoài này là do các vị sư phụ trụ trì, tăng ni Phật tử trồng, thường cho quả vào tháng tư âm lịch. Ngày nay còn khoảng 20 cây to lớn, cành lá xum xuê. Khoảng 3 - 4 năm về trước vẫn còn một cây cho quả, còn từ đó đến nay thì không hiểu sao không cây nào kết quả. Ngày nay vẫn còn nhiều chuyện lưu truyền về vườn xoài này.

Có chuyện kể rằng vào thời nhà Nguyễn, có một vị quan ghé chân chùa Đá Trắng và được các vị sư dâng tặng xoài ngon nên về kể cho vua nghe. Kể từ đó, nó trở thành món tiến vua hằng năm. Lại có chuyện, lúc chưa lên ngôi, Nguyễn Ánh trong những lần hành quân thường dừng chân ở Xuân Đài, khi thưởng thức các đặc sản ở vùng này, ông thích nhất là xoài Đá Trắng nên từ thời Gia Long, thứ quả này được cung tiến vào dịp Tết Đoan ngọ. Thậm chí, do thấy xoài quý hiếm nên quan huyện phải cử lính canh giữ, những người làm nhiệm vụ này được miễn thuế thân.

“Hái sạch”, đó là mệnh lệnh được ban ra mỗi khi thu hoạch xoài tiến vua. Số xoài sau khi hái được một đội quân nhận nhiệm vụ vận chuyển ra kinh đô. Sau đó, tiệc ngự xoài được vua mở, rồi chia đều cho các quan có chức tước cao và nhiều công trạng. Mặc dù quân lính kiểm soát rất gắt gao trong quá trình hái xoài, nhưng sau đó, các sư vẫn “mót” được vừa đủ vài đĩa xoài để dâng Phật. Về những quả xoài còn sót lại, người thì cho rằng đó là tấm lòng che chở của đất để dâng Phật. Một số người thì cho rằng, đó là tấm lòng thành kính của người hái đối với Phật. Nhờ vậy mà khi xoài chín có màu vàng, tỏa hương thơm ngào ngạt “dẫn đường” cho nhà chùa hái.

Cũng nhờ những quả xoài sót lại ấy mà giống xoài này được nhân rộng khắp vùng xung quanh cũng như nhiều nơi khác. Có điều, xoài trồng ở nơi khác độ thơm ngon lại không bằng ở chùa Đá Trắng. Dân gian lý giải là do xoài ở đây được trồng trên gò đá trắng, cũng có dòng lưu truyền là do được trồng nơi đất Phật nên xoài mới thơm ngon. Một điều khó hiểu nữa là, nhiều sư của chùa ươm cành từ những cây xoài này để trồng nhưng đều không thành công.

Vào năm 2013, quần thể xoài đặc biệt của ngôi chùa cổ đã được công nhận là Cây Di sản của Việt Nam.