ایتل باری‌مور دومین فرزند از سه فرزند بود که ظاهراً برای زندگی بازیگری والدین خود مورس و جورجینا مقدر شده بود. مورس باری‌مور در سال ۱۸۷۵ از انگلیس مهاجرت کرده بود و پس از فارغ‌التحصیل شدن از کالج در حقوق، با شگفتی خانواده‌اش به بازیگری رو آورد. جورجینا دروِ فیلادلفیا در شرکت صحنه‌ای والدینش کار می‌کرد. آنان با هم ملاقات کرده و در شرکت آگوستین دیلی در نیویورک ازدواج کردند. هر دو با برخی از شخصیت‌های بزرگ صحنه تئاتر نیمهٔ ویکتوریایی آمریکا و انگلستان کار کردند. فرزندان باری‌مور در فیلادلفیا به دنیا آمدند و بزرگ شدند. با اینکه برادر بزرگ‌تر لیونل باری‌مور از کودکی با خویشان مادر در شرکت درو کار می‌کرد، ایتل پس از مدرسهٔ سنتی دخترانه، قصد داشت پیانیست کنسرت شود.