In 1596 werd in het voormalige Clarissenklooster aan de Heiligeweg een tuchthuis gevestigd. Jongens die van het rechte pad waren geraakt werden daar aan het werk gezet om vervolgens als hardwerkende en deugdzame mannen terug te kunnen keren in de samenleving.
Al gauw exploiteerde het stadsbestuur hen echter ook als goedkope arbeidskrachten. Het tuchthuis groeide uit tot een echte strafgevangenis. De gevangenen moesten er hout uit Brazilië raspen tot pigmentpoeder, waar dan verf van kon worden gemaakt. Daar komt de naam Rasphuis vandaan.
Omdat de bestraffing van de misdadigers ook een afschrikwekkende functie moest vervullen, mochten Amsterdammers en toeristen tegen betaling naar de met rode verfstof bedekte gevangenen komen kijken. Het Rasphuis werd daarmee één van de belangrijkste bezienswaardigheden van de stad.
Op deze gravure uit de zeventiende eeuw zie je de binnenplaats, waar het verfhout wordt geraspt. Op de binnenplaats werden ook lijfstraffen uitgedeeld, zoals rechtsonder te zien is.
Het poortje van het Rasphuis is nog steeds te zien in de Heiligeweg, bij de ingang van de Kalvertoren.
