Het huis met de Hoofden is te herkennen aan de zes versieringen in de vorm van hoofden aan de voorgevel. Het huis werd in 1622 gebouwd, voor de heer Nicolaas Sohier, een rijke kousenhandelaar én kunstliefhebber. De renaissancegevel wordt toegeschreven aan stadsarchitect Hendrick de Keyser, maar is waarschijnlijk uitgevoerd en voltooid in 1622 door zijn zoon Pieter de Keyser; Hendrick de Keyser was namelijk in 1621 al overleden. Behalve de hoofden, vinden we op de gevel versieringen als banden, blokjes, klauwstukken, vazen, obelisken, leeuwenmaskers en zuiltjes.
Bewoners van het huis
Na Sohier, die er uiteindelijk slechts 12 jaar heeft gewoond, is het huis vier generaties lang van familie De Geer geweest. Later vestigde kunsthandelaar De Roos zich in het pand, heeft er (onder andere) een hogere beroepsschool plaatsgehad, een openbare handelsschool en is het huis begin 20e eeuw gebruikt door het Conservatorium van Amsterdam.
De hoofden
De hoofden op de gevel werden pas door De Geer toegevoegd. De legende gaat dat de zes hoofden zouden verwijzen naar zes rovers, die het huis waren binnengeslopen en door de keukenmeid stuk voor stuk met een broodmes zouden zijn onthoofd. Onlangs is echter vastgesteld dat het gaat om borstbeelden van zes Romeinse goden. Drie mannen en drie vrouwen, allen met een attribuut: Apollo met laurierkrans (kunsten); Ceres met rijpe korenaren (landbouw); Mercurius met gevleugelde helm (handel); Minerva (wijsheid); Bacchus met druiventrossen (wijn) en Diana met halve maan (jacht). De hoofden links en rechts van de hoofdingang, van Mercurius en Minerva, duiden aan dat De Geer zich als 'mercator sapiens', identificeerde met zowel handel als wijsheid.