Костёл Св. Казимира является самым древним памятником католической архитектуры Беларуси. Построен он в 1433 году на средства конюшего Великого княжества Литовского Яна Немиры. В 1576 году костел по распоряжению Николая Радзивилла Черного был превращен в кальвинистский сбор и пробыл им больше полусотни лет. Лишь в 1642 году католики вновь получили свой храм.
К костёлу прилегает старый парк, заложенный в XVIII веке. Возле храма на кладбище сохранилась родовая часовня-усыпальница О'Рурков. Графы О'Рурки владели Вселюбом до 1939 года.
При костёле функционирует дом паломника и сувенирная лавка-музей.