Annesi Hollanda’lı bir baronesti ve akrabaları İngiltere kralı 3. Edward’a kadar giden aristokrat bir sınıfa mensuptu. Babası bir sigorta şirketinde çalışıyordu ve sıksık Belçika, İngiltere ve Hollanda’ya gidip geliyorlardı. 1935’de annesi ve Nazi sempatizanı olan babası boşandılar ve baba aileyi terk etti. Annesiyle Audrey Hollanda’ ya taşındılar, burada baleye başladı ve iyi bir balerin oldu(Yıllar sonra Audrey, Kızılhaç vasıtasıyla babasını bulmuş ve ölene dek ona maddi olarak destek olmuş) 1940 yılında Nazi’ler Hollanda’yı işgal edince, Audrey tehlikeli olabileceğinden annesinin İngiliz soyadını değiştirmiş, Hollanda’yı hem savaş, hem de kıtlık baş gösterince, diğerleri gibi lale soğanlarından un yapıp, bisküvit ve kek yapmayı öğrenmişler. Amcası ve annesinin kuzeni direnişçilere katıldığı için Audrey’in gözleri önünde vurulmuşlar. Audrey de oldukça hastalanmış, Yahudilerin çoluk çocuk trenlere doldurulduğunu da hatırlıyor, sokaklarda misilleme için insanların vurulduğuna tanık olmuş, savaştan sonra baleye devam etmiş ama bir balerin için boyu çok uzunmuş ve savaş sırasındaki yetersiz beslenmeden ötürü bir prima donna olamayacağını düşünerek, oyunculuğu denemeye karar vermiş.
