Aan de Pletterijstraat 66 stond tot 1943 het joodse weeshuis. Op last van de Duitse bezetter werden op 6 maart 1943 alle bewoners, de directeur, de directrice, het personeel en de aanwezige kinderen weggevoerd. Niemand keerde terug, allen werden vermoord.

In 2003 bleek dat ook het grootste deel van het weeshuisarchief door de Nazi's was geroofd en naar Rusland vervoerd. Vermoedelijk lag het archief van het weeshuisbestuur opgeslagen in het kantoor van de NIG in de Nieuwe Molstraat en is het gelijktijdig met het archief van de NIG geroofd. Op wonderbaarlijke wijze keerde bijna het gehele weeshuisarchief terug, tot en met oude notulen en jaarverslagen teruggaand tot het midden van de negentiende eeuw. Vele teruggekeerde archiefdocumenten vertellen de geschiedenis over het lot van het weeshuis in de drie eerste oorlogsjaren. Vooral de bijlagen bij de jaarrekeningen geven inzicht in het dagelijkse leven tijdens de Duitse bezetting. De laatste kwitantie in het archief is misschien het meest schrijnende document van alle. Op het moment dat alle volwassen en jeugdige bewoners al waren gedeporteerd en vermoord, is er aan het archief nog een grauwgele rekening afkomstig uit Amsterdam uit juni 1943 aan het archief toegevoegd: een nota voor de betaling van drie koffers.

Omstreeks het midden van de negentiende eeuw was in navolging van de steden Amsterdam en Rotterdam besloten om ook in Den Haag een joods weeshuis op te richten. Joodse wezen konden met het oog op het kasjroet (rituele geschiktheid van het voedsel) niet worden ondergebracht in een van de niet-joodse weeshuizen in de stad. De zorg voor joodse wezen werd dan ook in eerste instantie overgelaten aan familieleden. Deze kregen zo nodig financiële bijstand uit de armenkas van de joodse gemeente.
Omstreeks 1850 woonden er ongeveer 2.500 joden in Den Haag, merendeels in de straten en steegjes achter het Spui. Op initiatief van Berisch Samuel Berenstein, opperrabbijn van de NIG te 's-Gravenhage, kwam in 1849 een commissie bijeen om een weeshuis op te richten. Er werd een pand aan de Stille Veerkade 20 aangekocht dat tot weeshuis werd verbouwd. De officiële ingebruikneming vond plaats op 28 januari 1850. Besloten werd in het weeshuis zowel ouderloze, als vaderloze wezen op te nemen in de leeftijd van vijf tot achttien jaar. Gestart werd met elf weeskinderen. Het aantal verdubbelde al snel, onder meer na de grote cholera-epidemie van 1865. Dankzij diverse legaten kon het weeshuis zich financieel redden. In 1878 werd besloten te verhuizen naar een groter pand aan de Raamstraat 45 waar ongeveer 35 wezen en half-wezen konden worden verpleegd. Op 5 januari 1880 werd het nieuwe gebouw in gebruik genomen. In 1921 werden de jeugdige Heiman (Chaim) Ullmann en zijn echtgenote Zippora Ullmann-Abrahamse benoemd tot directeur en directrice van het weeshuis. Zij zouden tot hun deportatie in 1943 de leiding over het weeshuis blijven dragen.

Het weeshuis kampte na 1900 opnieuw met financiële problemen. Hieraan kwam in 1929 een einde met het legaat van de heer en mevrouw Edersheim-Kalker. Het joodse weeshuis kon zelfs verhuizen van de Raamstraat naar de Pletterijstraat 66 naar een geheel nieuw gebouw dat speciaal voor dit doel was ontworpen door architectenbureau Simons en Van Braningen. Uit Rusland is het originele schetsontwerp van het weeshuis teruggekeerd.

In 1933 ontving het bestuur het verzoek van het Comité voor Joodse vluchtelingen en vanuit Duitsland van het weeshuis in Frankfurt am Main of er behalve wezen ook vluchtelingenkinderen in het Haagse weeshuis konden worden opgenomen. Op dit verzoek werd positief gereageerd en reeds in datzelfde jaar arriveerden de eerste uit Duitsland gevluchte joodse kinderen. Sedert 1933 werden er veelvuldig Duitse vluchtelingenkinderen in het joodse weeshuis opgenomen. Sommige wezen vertrokken vóór de oorlog naar Palestina. Om de vele Duitse kinderen te kunnen opvangen werden bedden bijgekocht en werd de zolder van het weeshuisgebouw aan de Pletterijstraat bewoonbaar gemaakt. Een groot deel van deze kinderen werd ook bij particulieren ondergebracht. Na het uitbreken van de Tweede Wereldoorlog werden de Duitse vluchtelingenkinderen die ouder waren dan 15 jaar gedwongen het weeshuis te verlaten. Zij mochten van de Duitse bezetter niet in het kustgebied wonen. De kinderen werden onder meer ondergebracht in het Centraal Israëlitisch Weeshuis in Utrecht, gelegen aan de Nieuwegracht 92.

De maatregelen van de Duitse bezetter tegen de joden werden steeds feller. Uit de notulen en de bewaard gebleven rekeningen blijkt dat de leiding onder de moeilijke omstandigheden het weeshuis draaiende moest houden. Op 6 maart 1943 deden de Duitse autoriteiten een inval in het weeshuis. Directeur Ullmann, zijn echtgenote, hun kinderen en alle andere aanwezige kinderen werden weggehaald en naar Westerbork gezonden. Vier dagen laten werd het gezin Ullmann tezamen met het merendeel van hun pupillen doorgestuurd naar Sobibor, waar ze allen op 13 maart 1943 werden omgebracht.