Стариот назив на градот – Велб’жд е поврзан со битката меѓу Србите и Бугарите, што се случила во 1330 година на полето кај реката Струма. Постојат неколку легенди за оваа битка, некои тврдат дека бугарскиот крал Михаил Шишман бил погребан во црквата Свети Георги. Таа е сместена во ќустендилската населба Колуша, само неколку минути од центарот на градот. Црквата е прекрасно обновена, а нејзиниот двор се одржува со завидна убавина.

Таа датира уште од 11-12-ти век. Прогласена е за национален културен споменик со голема архитектурна, уметничка и историска вредност. Во внатрешноста може да се видат фрески кои датираат од 11-ти до 19-ти век.

Во дворот на црквата се наоѓа преродбенска зграда. Во минатото таа била ќелијно училиште, а денес во неа се наоѓа мал музеј во кој се сместени дел од уникатните фрески што се демонтирани од црквата.