Johanssons Vater Karsten ist ein dänischer Architekt, ihre Mutter Melanie Sloan entstammt einer ostjüdischen, US-amerikanischen Familie aus dem New Yorker Stadtbezirk Bronx, die jüdisch-polnischer Herkunft ist. Nachdem sich ihre Eltern hatten scheiden lassen, lebte Scarlett zunächst einige Zeit bei ihrem Vater in New York, dann bei ihrer Mutter in Los Angeles. Sie hat einen Zwillingsbruder (Hunter) sowie eine ältere Schwester (Vanessa) und einen älteren Bruder (Adrian). Sie ist die Enkeltochter des Schriftstellers Ejner Johansson. Ihre Eltern wählten den Vornamen Scarlett (englisch „scarlet" = „scharlachrot") nach Scarlett O’Hara aus dem Roman Vom Winde verweht.