Đền Kỳ Sầm thuộc xã Vĩnh Quang, cách trung tâm thành phố Cao Bằng theo đường Pác Bó 5km. Đền được xây dựng để thờ danh nhân lịch sử Đại Vương Nùng Trí Cao, người dân tộc Tày, đời vua Lý Thái Tông (thế kỷ 11).

Nùng Trí Cao được vua phong Thái Bảo và cho trấn giữ châu Quảng Nguyên. Sau khi ông mất vua lại phong cho là Khâu Sầm Đại Vương. Câu chuyện về Nùng Trí Cao đã trở thành huyền thoại, liên quan đến sự nghiệp mở nước ở thời Lý. Công lao của ông đã được người đời sau tưởng nhớ và lập đền thờ.

Hàng năm lễ hội được tổ chức vào ngày mồng 10 tháng giêng âm lịch, đây là một lễ hội lớn thu hút mọi tầng lớp nhân dân trong tỉnh đến trảy hội, vui xuân, với nhiều trò chơi như: tung còn, đấu vật, đấu võ, đá bóng, múa sư tử, múa rồng, múa lân...