James Byron Dean nació el 8 de febrero de 1931 en Marion (Indiana). Fue el único hijo de Mildred Winslow, un ama de casa que se casó estando embarazada, y Winton Dean, un mecánico dentista incapaz de mostrar el más mínimo afecto por su hijo. Cuando tenía 6 años, la familia se mudó a Los Ángeles, donde el futuro actor estudió primaria en la escuela pública de Brentwood. Aquellos años de colegio no le dejaron un buen recuerdo. James era un niño tímido y sus compañeros se burlaban de él por su miopía, su carácter sensible y porque iba a clases de violín y de ballet, actividades consideradas poco masculinas.