Il conspira avec Louis de Bourbon, comte de Soissons, contre Richelieu et le combattit lors de la bataille de Marfée. Il fut pour cela condamné à mort, s’enfuit dans les Flandres et fut pardonné. Il revint en France en 1643.
Sa famille revendiqua le royaume de Naples (en tant que descendant des ducs d'Anjou et du roi René) puis participa à la révolte de Masaniello en 1647. Cette tentative échoua et il s'installa finalement à Paris à la cour de Louis XIV.
Louis Ferdinand Elle était un peintre français né à Paris qui reçu une formation de son père Ferdinand Elle (également portraitiste et maître de Nicolas Poussin) et à l'Académie royale de peinture et de sculpture à Paris où il travailla entre 1627 jusqu’à sa mort. Il fut l'un des 12 hommes mécontents de la guilde de Saint-Luc de Paris et qui fondèrent l'Académie de peinture et de sculpture en 1648. Ses portraits furent influencés par Anthony van Dyck et Charles Errard, entre autres. Il devint le maître de son fils, Louis Ferdinand Elle le Jeune.