Ngày 12/2 (mùng 8 tháng Giêng), nhân dân trong vùng và du khách thập phương nô nức trẩy hội chùa Đống Lân, xã Hưng Đạo (Thành phố).

Chùa Đống Lân có lịch sử lâu đời, được kiến tạo từ thời Lê - Mạc. Năm 1997, chùa được công nhận Di tích lịch sử văn hóa cấp tỉnh.

Dưới thời nhà Lý (cuối thế kỷ XI), chùa Đống Lân được xây dựng để thờ Phật. Trước khi chùa được xây dựng, tại gò Đống Lân có đền thờ Trần Qúy, Trần Kiên. Sách “Cao Bằng thực lục” có ghi chép nhiều chi tiết về nguồn gốc và tài năng đặc biệt của anh em Trần Quý, Trần Kiên. Cha của hai ông là Trần Triệu vì lấy được vợ tiên nên hai con trai được truyền cho nhiều phép lạ. Khi đến tuổi trưởng thành, mẹ tiên phải quay về trời, cha cũng bỏ vào núi cầu học đạo tiên, hai anh em Trần Quý, Trần Kiên ghi nhớ lời dặn dò của cha mẹ, mang kiếm đi khắp trong vùng tìm diệt yêu quái, trừ hại cho dân. Đến triều Lê, Trần Kiên được phong làm Cai Cộng Đại Vương, Hạ đẳng thần; Trần Quý là Đống Lân Đại Vương, Trung đẳng thần. Nhớ ơn công đức hai chàng trai, nhân dân lập miếu xuân thu phụng tự.

Trong chùa còn có bát hương thờ Thạch Sanh - một nhân vật trong truyền thuyết của người Tày. Thạch Sanh chém chết chăn tinh, bảo vệ cuộc sống bình yên cho nhân dân. Hiện nay, chùa gồm nhà thờ chính với 5 gian tiền đường và một gian chính điện; ngoài ra còn có một nhà thờ tổ.

Năm 2007, được sự nhất trí của UBND tỉnh, Giáo hội Phật giáo Việt Nam cắt cử sư về trụ trì tại chùa. Chùa là nơi để các tín đồ Phật giáo nhiều nơi trong tỉnh đến lễ phật.

Hằng năm, vào mùng 8 tháng Giêng âm lịch, chùa mở hội. Phần lễ được thực hiện từ tối mùng 7. Trong ngày hội, nhiều trò chơi dân gian được tổ chức thu hút khách thập phương đến trẩy hội đông vui.