Elvin Jones生于美国密苏里州庞蒂克的一个音乐世家，琼斯的几个哥哥都是演奏爵士乐的高手。1946年，琼斯应征入伍。1949年退役后，他来到底特和律，从此开始了爵士乐生涯。 1955年，他离开底特律来到纽约，加盟泰迪·查尔斯和巴德·鲍威尔的三重奏乐队，同时还与迈尔斯·戴维斯以及索尼·罗林斯一起录音。在与J.J.约翰、唐纳德·伯德、泰里·格伦以及哈里·埃迪森的短斯合作之后，琼斯成了约翰·科特兰四重奏乐队的主要成员。 1965年，琼斯离开了这支乐队，加盟著名的埃林顿公爵乐队赴欧洲巡回演出。此后，他开始组建并领导自己的乐队，这支乐队到1990年已成为著名的“埃乐文·琼斯爵士机器”乐队，一些著名的乐手曾在乐队的发展中为乐队效过力，其中包括：弗兰克·福斯特、乔·法里尔、乔治·科尔曼、佩普尔·亚当斯、戴夫·里布曼、帕特·拉巴巴拉、史蒂夫·格罗斯曼、安德鲁·怀特、拉维·科特兰和索尼·法图恩、小号手尼克劳斯·佩顿、钢琴手道拉·布兰德和威利·佩肯斯、键盘手简·汉默、贝司手理查德·戴维斯、吉米·加里森、威布尔·里托和基尼·佩尔拉等人。 其间，琼斯还为许多著名唱片公司录制过唱片，并作为指挥曾先后与亚特兰蒂克、河岸、蓝音等唱片公司都有过合作。