디젤은 독일 출신으로 파리에서 피혁 가공업체를 운영하는 집안에서 태어났다. 파리와 영국에서 생활하다 12세때 독일 아우구스부르크에 사는 백부의 양자가 되어 뮌헨고등공예학교를 졸업했다.  졸업후 암모니아 냉동기의 발명가로 알려진 린데 박사가 파리에 세운 냉동기회사 지사장으로 취업했다.  1884년 무렵 디젤은 '증기기관의 증기 대신 가열한 암모니아 증기를 쓰면 열효율을 높일 수 있다.'는 생각을 하게된다. 그러나 암모니아는 냄새가 심하고 금속을 부식시키므로 공기를 이용하는 방법을 쓰기로 했다. 디젤이 고안한 엔진의 특징은 압축된 공기에 연료를 뿌리면 자연 착화가 일어난다는 것.  그러나 당시 기술로는 저절로 불이 붙을만큼 공기를 압축하는 것이 불가능한 일로 여겨 졌다.  1893년 디젤은 팜플렛을 만들어 옆구리에 끼고 연구비를 지원해줄 큰 회사를 찾아다닌 끝에 아우구스부르크 기계제작소(나중에 MAN사에 합병)의 후원을 받게 되었다.  실용화에 성공할 경우 판매권을 양도한다는 조건이었다.
휘발유를 쓴 첫 시험은 폭발음과 함께 실패로 끝났고, 이후 두통과 불면증에 시달려 가면서 연구에 매달려 1894년 2월 드디어 엔진을 개발하였으며,1895년 시운전에 성공하였다.
그는 이 열엔진에 대한 특허를 얻었고, 그의 아내의 권유에 따라 엔진이름을 "디젤엔진"이라고 하였다.   이 엔진의 연료는 등유였으며 배기가스도 없고 연비도 휘발유보다 2배나 좋았다.  이 무렵 디젤은 MAN사의 계약을 깨고 다른 회사에도 자신의 기술을 쓰도록 허락했다.  이 때문에 1898년 뮌헨 만국박람회장에는 4개 회사가 디젤엔진을 전시됐다.
디젤엔진은 에너지 효율이 높은 경제형 엔진으로 알려지면서 유럽과 미국 사업가들이 몰려 광산공장,선박,기차,건설장비, 트랙터용 엔진으로 날개 돋친 듯 팔렸고, 루돌프 디젤은 백만장자가 되었다.
그러나 가솔린엔진과 증기엔진 제조업자들간의 시기와 모함 중상모략등이 심해졌으며, 회사내 간부들의 재산을 둘러싼 암투,부정,부패등으로 정신 착란증이 심해졌다.
그는 1913년 9월에 영국에 세워진 디젤엔진 공장의 준공식에 참석하기 위해 기선을 타고 도버해엽을 건너던중 밤중에 실종되었고, 그로부터 2주후 핀란드의 작은 어선이 북해에 떠 있는 루돌프 디젤의 시체를 발견하게 되었다.  디젤 엔진의 주인공인 디젤은 신기술이 활짝 꽃피는 것도 못보고 55세의 나이로 비명횡사 했지만, 그의 죽음은 타살인지,자살인지 아직도 미스테리로 남아 있다고 한다.
일설에는 당시 군비확장에 여념이 없던 독일정부가 해전용 잠수함 U보트에 이 엔진을 쓸 계획이었기 때문에 가상국가인 영국에 기술이 넘어가는 것을 반대하였고 이에 개이치 않았던 디젤을 비밀경찰로 하여금 암살했다는 얘기와 특허권 시비에 휘말려 괴로워 하다 자살했다는 설등이 전해질 뿐이다.
기술을 공개한 것에 대해서도 '돈벌이에 집착하지 않고 누구나 자신의 기술을 이용할 수 있게 한 참된 엔지니어'로 칭송되었다.
디젤엔진은 자동차용으로는 벤츠가 1922년 트럭에, 1936년 승용차(벤츠 260D)에 각각 처음으로 사용하였다.