In 1994 werd een belangrijke archeologische vondst gedaan ter hoogte van de binnenplaats tussen de Nieuwezijds Kolk en de Dirk van Hasseltsteeg: het verdedigingswerk van Floris V. Floris V werd in 1254 geboren. Na de dood van zijn vader, Willem II, werd hij graaf van Holland. Het lukte Floris om het machtsgebied van de graven van Holland aanzienlijk te vergroten. Zo pikte hij bijvoorbeeld het Amstelgebied in van de bisschop van Utrecht en schonk hij Amestelledamme, oftewel Amsterdam, het tolprivilege.
Tijdens de bouw van een parkeergarage werden er muren van een burcht met hoektorens gevonden, die stammen uit de jaren 1280. De muren gelden als het oudste bakstenen gebouw van Amsterdam. Het verdedigingswerk is gebouwd op een fundering van scheepsdelen en eikenhouten balken die de muur ondersteunde op de drassige ondergrond van de oeverwal van de Amstel. Linksonder op de afbeelding is deze houten fundering voor een deel te zien. Ook laat deze afbeelding zien dat de muur gebouwd is met kloostermoppen: grote bakstenen.
Lange tijd werd gedacht dat de gevonden resten onderdeel waren van het Kasteel van de Heren van Aemstel. De Heren van Amstel was een middeleeuws, adellijk geslacht dat het rentmeesterschap voerde over de gebieden aan de Amstel. Dit betekent dat zij over het gebied regeerde in de naam van de bisschop van Utrecht en later de graaf van Holland. Toch is het waarschijnlijk niet het kasteel van dit adellijk geslacht dat tijdens de opgravingen in 1994 is gevonden, omdat tijdens de bouw van het verdedigingswerk (de periode van 1280 tot 1290) de laatste Van Aemstel gevangen zat of net was vrijgelaten.
