De Huizen- of Culemborgsepoort, gebouwd omstreeks 1400 aan het einde van de Voorstraat genoemd naar het voormalige kasteel of ‘Huijs Buren’, bestaat uit een met een tongewelf overwelfde doorrit, die door middel van een valhek aan de veldzijde kon worden afgesloten. De wachtruimte boven de doorgang is bereikbaar met een rechte stenen trap in de noordelijke muur. Er is een stookplaats tegen de zuidelijke muur. Daarnaast is een gedicht venster dat uitzicht gaf binnen de stadsmuur.

De gevel aan de stadzijde werd, blijkens een jaartalsteen, in 1816 vernieuwd.

In de hoek van het huis aan de noord­oostzijde van de poort bevindt zich op de bovenverdieping aan de veldzijde naar binnen stekend metselwerk, wat een overblijfsel kan zijn van een hoek­torentje van de poort. Het huis bezit een balklaag met gotische kenmerken. De poort zal gelijk met dat huis zijn opgetrokken. Er staan dus reeds van­ouds huizen tegen de stadsmuur. Dit is in overeenstemming met het feit dat de poort vroeger Huyspoort werd genoemd. In de kelder van het huis is een kijksleuf in de stadsmuur.