Naast het Oude Gasthuis en het Sint Pieters Gasthuis kende Amsterdam in de Middeleeuwen een derde gasthuis, het Onze Lieve Vrouwegasthuis aan de Nieuwendijk. Dit gasthuis was vooral bedoeld voor de opvang van vrouwen. Vrouwen waren namelijk lange tijd niet welkom in het andere gasthuis in de stad, het Sint Pieters Gasthuis.
In het Onze Lieve Vrouwegasthuis werden aanvankelijk vooral reizigers opgevangen. Later kwamen daar steeds meer hulpbehoevenden en ouderen bij, waarna de nadruk op de zorg kwam te liggen. Op de eerste prent is het Onze Lieve Vrouwegasthuis afgebeeld.
Dit gasthuis bevond zich schuin tegenover de Onze Lieve Vrouwekapel. Op de tweede afbeelding is deze kapel afgebeeld. In 1355 werd de Onze Lieve Vrouwekapel al in bronnen vermeld. Tussen 1413 en 1420 werd het Onze Lieve Vrouwegasthuis hieraan verbonden.
Na de alteratie van 1578 fuseerde het Onze Lieve Vrouwegasthuis met het Sint Pieters Gasthuis en het Pesthuis buiten de stad. Zij vestigden zich op de plek van de voormalige Nonnenkloosters aan de Grimburgwal en werden 'de Gasthuizen' genoemd. Dit gebouwencomplex werd na 1635 hernoemd tot het Binnengasthuis. Buiten de stadsmuren was namelijk het Pesthuis gevestigd, dat het Buitengasthuis werd genoemd.
