Chùa Vĩnh Nghiêm được khởi công xây dựng vào năm 1964 và hoàn thành vào năm 1971. Kiến trúc chùa theo mẫu thiết kế của chùa Vĩnh Nghiêm (còn được gọi là chùa Đức La) ở làng Đức La, xã Trí Yên, huyện Yên Dũng tỉnh Bắc Giang.

Chùa tọa lạc trên mảnh đất khoảng 7.000m2, dưới chân cầu Công Lý, gồm các hạng mục chính: cổng chùa, chính điện, gác chuông và các bảo tháp...

Cổng tam quan nằm ở mặt tiền đường Nam Kỳ Khởi Nghĩa, sát bên cầu Công Lý, được xây bằng gạch, mái ngói.

Khi đường Nam Kỳ Khởi Nghĩa được mở rộng, các công trình thông thường được phá dỡ để giải tỏa làm đường, tuy nhiên, cổng chùa đã được "thần đèn" Cẩm Lũy di dời vào trong và không cần phải phá bỏ. Việc di dời cổng chùa lúc đó được rất nhiều người dân quan tâm vì tính ra cổng nặng đến khoảng 120 tấn.

Qua cổng là sân chùa và cách khoảng 100m là tòa nhà trung tâm. Từ dưới sân có ba lối cầu thang đi lên chính điện. Bên phải là gác chuông, do các phật tử dòng Tào Động ở Nhật Bản tặng nhà chùa trước năm 1975.

Tòa nhà gồm tầng trệt và 1 tầng lầu: Tầng trệt là nơi thờ Tổ, giảng đường, văn phòng, thư viện, phòng chư tăng, lớp học, cửa hàng pháp khí đồng, cửa hàng phát hành kinh sách ...

Tầng lầu là chính điện. Giữa thờ Phật Thích Ca, tượng cao 7m, bên phải thờ Phổ Hiền Bồ Tát, bên trái thờ Văn Thù Bồ Tát, cao 5m và 4 vị đệ tử của đức Phật Thích Ca gồm : Xá Lợi Phất (trí tuệ đệ nhất), Mục Kiền Liên (thần thông đệ nhất), A Nan Đà ( đa văn đệ nhất), La Hầu La (mật hạnh đệ nhất).

Hai bên tường là 6 bức tranh La Hán được chạm khắc đỗ dựa vào bản chính của phái Tịnh Độ, Nhật Bản. Sau chính điện là bàn thờ Địa Tạng đường. Ở đây có đặt tượng thờ Bồ tát Địa Tạng, Bồ tát Quan Âm, Hộ Pháp và các bàn thờ hình ảnh, linh vị chư Phật tử quá cố.

Đặc biệt của kiến trúc chùa Vĩnh Nghiêm còn thể hiện ở ba Bảo tháp, được thiết kế công phu và chạm khắc rất đẹp gồm: Bảo tháp Quán Thế Âm, 7 tầng, được xem là ngôi tháp đồ sộ thuộc hàng bậc nhất trong các ngôi bảo tháp của Phật giáo Việt Nam; Bảo tháp Tháp Xá Lợi, có 4 tầng; Bảo tháp Tháp đá Vĩnh Nghiêm, thờ cố Hòa thượng Thích Thanh Kiểm, 7 tầng, được đánh giá là tháp cao và đẹp nhất Việt Nam ...

Ngoài ra, bên trái chùa còn có một tòa nhà lớn: tầng trệt là Thanh trai đường, tầng giữa là Tăng khách đường và tầng trên cùng là Thiền đường.

Tuy niên đại chưa phải là quá cổ, nhưng chùa Vĩnh Nghiêm là công trình kiến trúc Phật giáo độc đáo của TP.HCM, thu hút đông đảo tăng ni phật tử đến nghiên cứu phật học, nhân dân đến tham quan, thực hiện nghi lễ truyền thống và khách du lịch nước ngoài đến tham quan.