לאחר רצח אימו, ראש ממשלת הודו, אינדירה גנדי ב-31 באוקטובר 1984 הושבע עוד באותו יום לראש ממשלת הודו, ולאחר מספר ימים נבחר גם למנהיג הקונגרס הלאומי ההודי. בנוסף ירש את תפקיד שר החוץ של הודו שבו החזיקה אימו ערב הירצחה. בבחירות שנערכו מייד לאחר הרצח זכתה הקונגרס הלאומי ההודי ברוב הגדול בתולדותיה, 415 מתוך 533 מושבים בלוק סבהה אוישו על ידי המפלגה.
באוקטובר 1989 גנדי הקדים את הבחירות בעקבות פרשת שוחד במפלגתו[3]. בבחירות, שנערכו ב-22 בנובמבר 1989, הובסה מפלגת הקונגרס בידי החזית הלאומית, קואליציה של מתנגדי גנדי, וגנדי התפטר מראשות הממשלה ב-2 בדצמבר 1989.
גנדי נרצח בפיגוע התאבדות שבוצע במהלך עצרת בחירות במהלך הבחירות ללוק סבהה ב-1991. ההתנקשות בוצעה על ידי מחבלת מתאבדת טמילית בשם תֶנְמוּלי רַגַ'רַטְנאם (נקראה גם ד'נו Dhanu) ב-21 במאי1991 ליד העיר צ'נאי (בעבר מדראס) שבדרום הודו, בעת מסע בחירות במדינת טאמיל נאדו[4]. ארגון "הנמרים הטמילים" בסרי לנקה ביצע את הרצח כדי לנקום בגנדי על כך שבהיותו ראש ממשלה שלח כוח צבאי הודי לשמירת השלום בסרי לנקה[5], ומחשש שאם הוא ייבחר שנית לראשות הממשלה הוא ישלח שוב כוח דומה. רג'רטנאם טענה שהיא נאנסה על ידי חיילים הודיים מכוח זה. בפיגוע נהרגו 16 אנשים נוספים.
גופתו של רג'יב גנדי נשרפה בטקס הינדואי סמוך לנהר ג'מואה, יובל של הגנגס[5].
חיים אישיים
רג'יב נישא ב-1968 לסוניה גנדי[2], שנכנסה גם היא לפוליטיקה לאחר הירצחו, והיא עומדת בראש מפלגת הקונגרס מאז 1998, אולם סירבה להתמנות כראש ממשלה כשהמפלגה ניצחה בבחירות. בנם רהול גנדי, ובמידה מסוימת בתם פריאנקה, נכנסו גם הם לפוליטיקה.