ב-1974 מונה זאבי ליועץ ראש הממשלה יצחק רבין לטרור, וממאי 1975 ועד 1977 כיהן כיועץ ראש הממשלה לענייני מודיעין. לקראת סוף שנות ה-70 הוזכרו שמותיהם של כמה מחבריו של זאבי כראשי הפשע המאורגן בישראל. הוא עצמו מעולם לא הואשם בדבר. בשנת 1981 מונה למנהל מוזיאון ארץ-ישראל בתל-אביב, וכיהן בתפקיד עשר שנים. ב-1985 התחיל זאבי לדבר בפומבי על טרנספר מרצון של האוכלוסייה הערבית מיהודה, שומרון ורצועת-עזה.

לקראת הבחירות לכנסת ה-12 (1988) הקים את מפלגת מולדת, והמפלגה זכתה לשני מושבים, וזאבי הצטרף לממשלתו של יצחק שמיר בפברואר 1991, ושימש שר ללא תיק וחבר בקבינט הביטחוני. מינויו עורר מחלוקת בליכוד, אך חבר הכנסת זאב בנימין בגין היה היחיד ממפלגה זו שהצביע במליאה נגד המינוי. זאבי פרש מהממשלה בינואר 1992, על רקע ועידת מדריד .

בכנסת ה-13 (1992) זכתה מולדת לשלושה מושבים בכנסת. בשנים אלו היה זאבי מהמתנגדים החריפים ביותר להסכמי אוסלו. בתקופה זו גם בלטו המריבות שלו עם חבריו לסיעה וחילופי דברים בוטים שהיו לו עם חברי הכנסת הערבים. הוא לא הצטרף לממשלה שהקים בנימין נתניהו לאחר הבחירות לכנסת ה-14 (1996) ותמך בממשלתו מבחוץ. על אף עמדותיו המדיניות הקיצוניות, היה ממספידי חבר הכנסת אלוף (במיל') מתתיהו פלד – לשעבר מחברי הרשימה המתקדמת לשלום, וגינה את רצח רבין גינוי חריף ביותר. בכנסת ה-15 (1999) שימש שר התיירות.

בבוקר יום ג', ל' בתשרי התשס"ב, 17 באוקטובר 2001, נרצח זאבי על-ידי שלושה מתנקשים פלסטינים.