Андрій Варгола народився в США у сім’ї закарпатських емігрантів. Юлія Варгола, мати Енді, мала надзвичайний художній хист: вона продавала квіти, які майструвала з консервних бляшанок та гофрованого паперу, вишивала картини за лемківськими мотивами та на релігійні теми, до Великодня розписувала писанки. Саме мати була найвпливовішою людиною у житті Воргола і саме вона дала поштовх розвитку його талантів. Окрім Енді, який був наймолодшим у сім'ї, вони мали ще двох синів — Пола (1922 р.н.) та Джона (1925 р.н.). Первісток Варголів, донечка Юстина, померла немовлям у 1913 році, відразу після від'їзду батька до США. Батько Енді був сильним, кремезним чоловіком, мав сталу, добре оплачувану роботу у будівельній компанії. Він тяжко працював і заощаджував, і це дало змогу у 1934 році придбати будинок і переїхати з нетрів у більш комфортабельний та безпечний район Піттсбурга. Сам будинок Ондрей Варгола обрав так, щоб поряд були хороші школи та церква їхнього віросповідання . Взагалі, сім'я Варголів була надзвичайно релігійною, а сам Енді, до останніх днів свого життя, декілька разів на тиждень відвідував церкву.
  У восьмирічному віці Енді захворів на ревматичну гарячку, і він пережив перший напад тяжкої недуги — танець святого Віта.
Батька завжди не було вдома, і весь свій час Енді проводив наодинці з матір'ю. Маючи художній хист, вона розважала сина, малюючи йому котиків та інших звірят. Інколи вони малювали разом: знову ж таки котів, або портрети одне одного. У цих малюнках виявилися художні здібності Енді, а коти згодом знайшли відображення в його творчості: книжках і численних картинах. Поміж інших його книг є дві у співавторстві з матір'ю, і вони, звісно, присвячені котам: «25 Cats Name Sam and One Blue Pussy»  та «Holy Cats» .