Toldcaféens lokaler har tidligere været anvendt som både bank og posthus, men har siden 2010, efter en total renovering, dannet rammen om uddannelses- og beskæftigelsestilbuddet Toldcaféen. Toldcaféen var tidligere ejet af Fonden Toldcaféen, men denne fond blev pr. 1. januar 2017, fusioneret med Fonden Toldhuset og nedlagt, så det i dag er Fonden Toldhuset der ejer Toldcaféen. Caféen har gennem tiden udviklet sig og er nu et af byens samlingspunkter. Beboerne i Toldhuset benytter caféen til morgenmad, frokost og aftensmad på åbningsdage.