Rose wurde in eine säkulare jüdische Familie geboren. Er war der Sohn von Ella (Greenwald), die einem ungarisch-jüdischen Elternhaus entstammte, und von Harry Royze, der russisch-jüdischer Herkunft war.[2]
Rose studierte an der University of Chicago mit dem Bachelor-Abschluss 1949 und der Promotion (Ph.D.) in Biochemie 1952.[3] Als Post-Doktorand war er an der Western Reserve University und der New York University bei Severo Ochoa. 1953 wurde er Instructor und später Associate Professor an der Yale University und 1963 Professor an der University of Pennsylvania (Fox Chase Cancer Center und Fakultät für Biochemie). 1976 bis zur Emeritierung 1998 war er am Department of Physiology and Biophysics des College of Medicine der University of California in Irvine.
Im Jahr 2004 erhielt er den Nobelpreis für Chemie für die Entdeckung der Ubiquitin-gesteuerten Protein-Degradation, zusammen mit Aaron Ciechanover und Avram Hershko. Mit diesen klärte er Ende der 1970er und Anfang der 1980er Jahre den Mechanismus des Abbaus überflüssiger Proteine in Zellen. Diese werden mit Ubiquitin markiert und in den Proteasomen zerlegt.
1972 war er als Guggenheim Fellow in Oxford und an der Hebräischen Universität in Jerusalem.