רתרפורד נולד בעיירה ברייטווטר (Brightwater) הסמוכה לעיר נלסון שבאי הדרומי של ניו זילנד. אביו ג'יימס הגיע בגיל 4 לניו זילנד מסקוטלנד והיה יצרן פשתן, ואמו מתילדה הגיעה בגיל 13 מאנגליה והייתה מורה.
רתרפורד המשיך במחקריו על הרדיואקטיביות בקנדה. הוא גילה גז אציל חדש שהתגלה כאיזוטופ של היסוד הרדיואקטיבי רדון ושקבל את השם תורון (thoron), ופרסם ספר בשם "רדיואקטיביות" בשנת 1904.
על מחקריו אלו קיבל רתרפורד את פרס נובל לכימיה בשנת 1908. רתרפורד היה משועשע מהעובדה שזכה לפרס בכימיה ואמר לחבריו כי "הטרנספורמציה המהירה ביותר שהוא מכיר היא הפיכתו מפיזיקאי לכימאי".
משהבחין שעופרת היא תוצר התפרקות סופי של אורניום, רתרפורד העלה השערה שמדידת הכמויות היחסיות וקצב ההתפרקות של אטומי האורניום יאפשרו לתארך מינרלים וכתוצאה מכך, טכניקה זו הקטינה את הגיל המשוער של כדור הארץ. שימוש בתיארוך רדיומטרי של ממצאים גאולוגיים הוא מיסודות הגאולוגיה המודרנית.
בהיותו בקנדה קיבל רתרפורד הצעות מאוניברסיטאות בארצות הברית, מה שאילץ את אוניברסיטת מקגיל להגדיל את שכרו בהתמדה. בסופו של דבר רתרפורד שאף לחזור לבריטניה שהייתה אז מרכז המחקר העיקרי. ואכן בשנת 1907 משהתפנתה משרת יו"ר הקתדרה לפיזיקה באוניברסיטת ויקטוריה של מנצ'סטר עבר רתרפורד לנהל אותה. רתרפורד הוכיח כי קרינת אלפא היא בעצם גרעין אטום הליום ויחד עם תלמידו האנס גייגר ביסס את העיקרון החשמלי לאיתור חלקיקים בודדים הנפלטים מאטומים רדיואקטיביים. מה שהניח בסופו של דבר את היסוד לפיתוחו של מונה גייגר. עיקרון זה אפשר לו לחשב קבועים פיזיקליים חשובים כגון מספר אבוגדרו.
שנת 1911 הייתה אחת המוצלחות מבחינתו. ניסויים שערך תלמידו ארנסט מרסדן בפיזור חלקיקי אלפא במעברם דרך רדיד זהב הביאו אותו לתגלית שרוב המסה של האטום מרוכזת בגרעין, המהווה פחות מאלפית מרדיוס האטום כולו. נילס בוהר הדני שעבד עם רתרפורד השלים את התמונה כשמיקם את האלקטרונים במסלול יציב מסביב לגרעין (ראה מודל בוהר).
בשנת 1914 קיבל רתרפורד תואר לורד.
בשנות מלחמת העולם הראשונה עסק בפיתוח אמצעים לאיתור צוללות, רשם פטנט על הידרופון פיזואלקטרי ואף נשלח לארצות הברית להרצות על הנושא. בסוף מלחמת העולם הראשונה חזר לעסוק במחקר. תוך ניסוי של הפגזת אטומים קלים בחלקיקי אלפא הוא הצליח לגרום לאטומי חנקן להפוך לאטומי חמצן. בכך היה לאדם הראשון שהצליח להפוך יסוד אחד ליסוד אחר, והגשים את חלום האלכימאים.
בחייו הפרטיים אירעה טרגדיה כשבתו היחידה איליין מתה בעת שילדה את בנה הרביעי בשנת 1930. שנה אחר כך זכה רתרפורד לתואר אצולה ובחר בתואר "לורד רתרפורד מנלסון".
ארנסט רתרפורד מת בגיל 66 מסיבוכים של בקע. רוב הסיכויים שהיה ניתן להציל את חייו, אך עקב פרסומו הרב הזעיקו לנתחו רופא מנתח בכיר שהגיע אליו תוך שמונה שעות; אך בפרק זמן זה קטע המעי הפגוע לא קיבל אספקת דם, ולא נותר הרבה לעשות להצילו. אפרו הוטמן בכנסיית וסטמינסטר שבלונדון.