Vanaf 1520 werden in het Burgerweeshuis weeskinderen van Amsterdamse poorters opgevangen. Andere wezen moesten naar minder goede weeshuizen van kerken of liefdadigheidsinstellingen.
In het Burgerweeshuis werden de wezen opgevangen en tot hun twintigste verjaardag opgeleid. Het stadsbestuur probeerde zo te voorkomen dat zij na het verlaten van het weeshuis heel arm zouden worden. De jongste kinderen leerden rekenen, schrijven en lezen. Hierna moesten zij een vak gaan leren. Meisjes leerden breien en naaien in de ateliers van het weeshuis, terwijl de jongens buiten het Burgerweeshuis aan het werk gingen. Vele jongens werden zo ook te werk gesteld op schepen van de Verenigde Oost-Indische Compagnie (VOC).
In het weeshuis leefden de jongens en meisjes gescheiden. Zo was er een apart meisjes- en jongensweeshuis. Zowel de jongens als de meisjes droegen een opvallend gekleurd uniform. Hierdoor waren de kinderen herkenbaar als beschermelingen van de stad. Daarnaast konden zij door dit uniform goed in de gaten worden gehouden als zij buiten het weeshuis waren. Aanvankelijk hadden de wezen een rood met wit kostuum. Dit werd echter na enige tijd veranderd in rood met zwart, omdat de witte stof snel vies werd. Op de eerste en tweede afbeelding zijn deze kostuums van de wezen uit het meisjes- en jongensweeshuis te zien.
Alle kinderen die in het Burgerweeshuis werden opgevangen, waren ingeschreven in een register, het Grootboek van het Burgerweeshuis. Op de derde afbeelding is dit register uit omstreeks 1630 te zien. De snede van het boek is versierd met een tekening van het stadswapen en twee weeskinderen aan weerszijden.
