Tương truyền rằng, sở dĩ có tên gọi là Gành Yến bởi vì trước đây các gành đá có nhiều hốc nhỏ, nơi trú ngụ của các loài chim như yến, én, sáo... Nơi đây có những phiến đá kỳ ảo, thô ráp xếp tầng tầng, lớp lớp lên nhau, thành một vách núi sừng sững trải dài, vươn ra tới biển.

Sự kết hợp giữa trời, mây, non nước và những phiến đá đen với hình dáng muôn hình vạn trạng tạo thành một bức tranh thủy mặc tuyệt vời. Theo những người dân địa phương, có thể những lớp đá đen này là kết quả phun trào của núi lửa hàng triệu năm trước.

Đặc biệt, đến với Gành Yến thời điểm thủy triều rút xuống, để lộ ra những rạn san hô cực đẹp như hàng ngàn bông hoa đua nhau khoe sắc. Theo người dân, khi du khách đến với Gành Yến mùa biển cạn mới cảm nhận hết được vẻ đẹp của tự nhiên. "Lúc này biển lùi xa, để lộ ra những bông hoa san hô cực đẹp, những con sao biển với đủ màu sắc như lạc vào chốn thần tiên. Khung cảnh này sẽ xuất hiện liên tiếp 2-3 lần mỗi tháng khi thủy triều rút, rơi vào các ngày đầu và giữa tháng, từ tháng 4 đến tháng 7 Âm lịch".