Ðền có cấu trúc giản dị nhưng thanh thoát và trang nhã, nép mình vào lưng núi, trước mặt là biển khơi bao la, tạo nên một kỳ quan thiên nhiên độc đáo không thua gì “Nam thiên đệ nhất động - Chùa Hương”.

Như bao đình chùa, miếu mạo ở nước ta thường được hình thành bắt nguồn từ một sự tích. Tương truyền vào năm 1718, ở phía đông nam vùng Ngọc Ðồ Sơn có đôi vợ chồng họ Ðào, đã hai mươi năm không có con. Hai vợ chồng tu thân, tích đức, cầu xin trời phật cho một mụn con. Trời phật động lòng, chứng giám, rồi báo mộng cho người vợ được mang thai. Tròn ngày, tròn tháng, đứa bé ra đời và được đặt tên là Ðào Thị Hương. Từ khi sinh ra, người đứa trẻ đã toả hương thơm ngát, phát ánh hào quang và đi đến đâu cũng có làn mây che đến đó. Càng lớn lên đứa trẻ (Bà Ðế) càng xinh đẹp, lộng lẫy.

Bà Ðế rất khéo tay, siêng năng mọi việc. Hàng ngày bà đi chăn trâu, cắt cỏ, tay làm, miệng hát, tiếng hát ngân vang cả núi rừng. Người ta nói rằng, tiếng hát của bà làm chim ngừng hót, sóng ngừng vỗ, đất trời lặng đi để lắng nghe.

Vào năm 1736, chúa Trịnh Giang về kinh lý Ðồ Sơn. Chúa cùng đoàn người dạo thắng cảnh bằng thuyền rồng trên núi Ðộc. Xúc động trước tiếng hát mượt mà, chúa truyền cho quân lính đi tìm người hát. Khi gặp được bà với vẻ đẹp nghiêng nước nghiêng thành, chúa yêu mến và quyến luyến không rời. Khi về kinh đô, chúa có hẹn ngày về đón bà.

Bà mang thai, trong lòng rất lo sợ, ngày đêm trông ngóng thuyền hoa của chúa. Hàng Tổng biết chuyện đòi phạt tiền. Nhà nghèo không có tiền nộp phạt, hàng tổng đem bà ra khu núi Ðộc rồi dìm bà xuống biển.

Trước khi chết, bà ngửa mặt lên trời khóc than rằng: "Phận gái thân cô, gặp chúa yêu thương tôi đâu dám chống, nhìn mẹ cha, hàng xóm tôi đâu dám quên. Xin trời phật chứng giám cho lòng con. Khi con bị dìm xuống nước, nếu có oan ức, trời phật cho con nổi lên ba lần".

Quả nhiên bà nổi lên ba lần, mọi người ai nấy đều kinh sợ. Sau một tháng, thuyền hoa của chúa về rước bà về kinh. Biết chuyện oan khuất, chúa Trịnh Giang cho xây đền, lập đàn giải oan cho bà. Ðền bà được vua Tự Ðức về thăm ban sắc phong: Ðông Nhạc Ðế Bà - Trịnh chúa phu nhân.

Người đời sau thương tiếc và khâm phục lòng thuỷ chung của bà. Nhiều danh nhân đã đề thơ ca ngợi:

"Lòng sáng như băng trời đất biết

Nỗi niềm thành kính quỷ thần hay

Ðế Bà hương lửa nghìn thu ấy

Ðể giải hồn oan cõi thế này"

Từ bấy đến nay, khách thập phương tấp nập trẩy hội đền Bà Ðế. Người ta đến để xin tài, xin lộc và đặc biệt cùng bà giải mọi nỗi oan khuất mà mình gặp phải.