In 1481 werd begonnen met de bouw van de stadsmuur. Alle Amsterdammers moesten letterlijk hun steentje bijdragen; de herkomst van dit gezegde komt hier vandaan. Men moest meehelpen heien of graven, een geldbedrag schenken of een groot aantal bakstenen leveren. De muur was zes meter hoog en had verschillende verdedigingstorens, waaronder de Schreierstoren, die rond 1500 gereed was.
De toren heette vroeger de Schrayershoucktoren omdat de stadsmuur hier een scherpe hoek maakte (van schray = scherp). De huidige naam Schreierstoren zou een afgeleide zijn hiervan. Een verhaal dat meer tot de verbeelding spreekt, is echter dat de toren deze naam kreeg omdat hij op de plaats stond waar, in de tijd van de VOC, vrouwen huilend afscheid namen van hun mannen voordat zij op reis gingen. De tweede afbeelding is een gevelsteen die zo’n afscheid laat zien.
