Chùa Thạch Long, còn được gọi là con rồng đá vì chùa nằm trong hang đá, cổng hang có hình miệng con rồng đang há. Chuyện kể rằng, ngày xưa người dân xã Vi Hương- Bạch Thông xuôi sông Cầu rước tượng Phật Thích Ca về thờ ở làng mình là Hoa Sơn, trên đỉnh dãy núi Phja Bjoóc. Tượng Phật bằng vàng rất nặng nên khi kéo ngược lên dân làng phải dùng mảng. Đến xã Cao Kỳ thì mảng cứ xoay tròn không sao đi được. Trời đã tối nên đêm ấy người đi rước tượng phải căng lều ngủ để hôm sau tính tiếp. Sáng hôm sau tỉnh dậy, họ hốt hoảng không thấy Đức Phật đâu. Người đi rước tượng đành thắp một bó nhang to và khấn cầu xin Đức Phật chỉ đường đến chỗ ngài đang thượng tọa. Dứt lời, bó nhang cuộn khói bay sang bên kia bờ sông, luồn mãi vào trong núi. Người rước tượng cứ đi theo khói nhang ấy và phát hiện ra một hang động tuyệt đẹp, rộng thênh thang. Đức Phật Thích Ca đã ngự tọa ở chốn cao nhất. Biết hang đá thiêng, từ đó dân làng lập chùa ngay tại hang đá.

Chùa Thạch Long được chia làm hai phần: Phần thứ nhất là chùa Thiên nằm ở trên cao, có các bậc đá xếp từ chân núi dẫn lên thẳng cửa động. Tầng cao nhất (Thượng điện) biểu tượng cho thiên đình thờ Đức Phật Thích Ca. Tầng giữa (Trung điện) biểu tượng cho thế gian có ảnh thờ Bác Hồ. Trong lòng động, vách đá tự chia thành từng múi như những chiếc lọng cao và sang trọng che cho các vị chư Phật ngồi dưới. Có thể coi đây như một kiệt tác kiến trúc của thiên nhiên tuyệt mỹ. Phần thứ hai là chùa Âm (Hạ điện). Đường đến chùa Âm phải đi vòng quanh sườn núi khoảng 80 m. Cửa vào chùa Âm hẹp hơn chùa Thiên một chút, lòng hang cũng không rộng bằng, ước chừng cao khoảng 6m, rộng 6m và có ngách ăn sâu vào bên trong.

Không chỉ chứa trong mình nhiều huyền tích, chùa Thạch Long còn là một di tích lịch sử, là niềm tự hào của bà con xã Cao Kỳ. Do cấu tạo đặc biệt của chùa và là nơi kín đáo nên triều đại nhà Lý đã lấy chùa làm pháo đài để đánh quân Tống. Đến thời kỳ kháng chiến chống Pháp, chùa được sử dụng làm nơi sản xuất và kho chứa vũ khí bí mật của quân đội ta. Khi đó, bao nhiêu tượng Phật được bà con cất hết và cũng từ đó dân làng chấm dứt việc lên lễ chùa. Sau này, hoà bình lập lại, chùa được trao trả về địa phương để nhân dân lập lại việc thờ tự.