وبما أنه تيقن شارون أن فرصة تعيينه رئيسا للأركان العامة لهي ضعيفة, فاعتزل الخدمة العسكرية في حزيران عام 1973 ليتنافس في الانتخابات للكنيست كعضو عن حزب الأحرار. في الفترة القصيرة التي بقت حتى اندلاع حرب يوم الغفران عمل بقوة من أجل تشكيل الليكود. ومع اندلاع هذه الحرب أعيد إلى الخدمة الفعلية قائدا لفرقة دبابات وعبر مع رجاله قناة السويس. مرة أخرى, كما في السابق, نال شارون الانتقاد الحاد لرفضه الانصياع للأوامر مصحوبا بالتقدير لمؤهلاته بصفة قائد ورجل عسكري بارع. وفي كانون الأول عام 1973 أنتخب شارون للكنيست الثامنة. وخلال عام 1974 اقترح في مقال له, أن تتفاوض إسرائيل مع منظمة التحرير الفلسطينية حول إقامة دولة فلسطينية في الأردن, مع أنه, في كانون الأول عام 1974 قرر الاستقالة من الحكومة إذ حصل على تعيين طارئ رفيع المستوى في جيش الدفاع الإسرائيلي. ومن حزيران عام 1975 وحتى آذارعام 1976 عمل شارون مستشارا خاصا لرئيس الحكومة رابين حيث بدأ بتخطيط عودته إلى السياسة. وبعد فحوص أجراها لدى عدة أحزاب قرر إقامة حزب خاص به باسم "شلومتسيون", والذي حصل على مقعدين في الكنيست التاسعة (1977), إلا أنه سرعان ما انخرط هذا الحرب في حركة الحيروت. وفي الحكومة التي شكلها مناحيم بيغن في حزيران عام 1977 تم تعيينه وزيرا للزراعة ورئيسا للجنة الوزارية لشؤون الاستيطان. وبحكم منصبه هذا دعا شارون إلى إقامة شبكة كثيفة من المستوطنات اليهودية المدنية والقروية في يهودا والسامرة, كضمان ضد إعادة هذه المناطق إلى السيادة العربية. في هذه الفترة أعتبر شارون ولي غوش إمونيم وعلى الرغم من الازدواجية في القيم في نظرته إلى المسيرة السلمية مع مصر, أوصى شارون بيغن, عندما كان هذا في كامب دايفيد, بالتنازل عن منطقة رفح مقابل سلام. مع ذلك شهدت العلاقات بين الاثنين توترا ما بعد أن رفض بيغن تعيينه وزيرا للدفاع بعد استقالة عيزر فايتسمان المنصب عام 1980.

وبعد الانتخابات للكنيست العاشرة (1980) فقط, تم تعيين شارون وزيرا للدفاع. وفي كانون الثاني عام 1982 انتهت رئاسة الأركان العامة, بناء على طلب شارون, من بلورة الخطة لـ "عملية أورنيم", التي تم تنفيذها خلال عدة أشهر في عملية سلامة الجليل. كانت أهداف عملية أورنيم هي: تخليص المستوطنات الشمالية من الاعتداءات الإرهابية, القضاء على المخربين في بيروت من الناحية العسكرية والسياسية على حد سواء, إقامة حكومة قانونية في لبنان توقع على اتفاقية سلام مع إسرائيل, وإبعاد السوريين من منطقة بيروت. هذا, وفي نيسان قاد شارون عملية الإخلاء المعقدة لمنطقة رفح, على الرغم من معارضة رجال غوش إمونيم.

كان شارون مشاركا فعالا وبصورة شخصية في جميع مراحل حملة سلامة الجليل, التي بدأت في السادس من حزيران, إذ حسب أقوال المنتقدين له, ومنهم زئيف بنيامين بيغن - بن رئيس الحكومة حينئذ, فقد أخفى شارون, أكثر من مرة, الخطوات التي اتبعها عن علم رئيس الحكومة, أو أنه أخبره بها بعد أن تم تنفيذها. لقد صادق شارون بصورة شخصية على دخول الكتائب اللبنانية إلى مخيمات اللاجئين صبرا وشاتيلا صبيحة اليوم الثالي لاغتيال رئيس لبنان المنتخب بشير الجميل في الخامس عشر من أيلول عام 1982, لكي يفتشوا عن المخربين. وفي أعقاب المجزرة التي قامت بها الكتائب اللبنانية في هذه المخيمات وفي أعقاب تقرير لجنة كهان أضطر شارون إلى استقالة منصبه كوزير الدفاع, لكنه بقي في الحكومة كوزير بدون وزارة.