परंतु आणीबाणीत दीडएक वर्ष काही बदल झाला नाही. मग १८ जानेवारी १९७७ रोजी यशवंतराव रुमेनियाच्या दौ-यावर असताना, राजधानी बुखारेस्टमध्ये भारतीय राजदूत कौल यांच्या निवासस्थानी दुपारी फोन वाजला. बेलग्रेडमधील आपल्य उपराजदूताचा तो होता. इंदिरा गांधींनी आदल्या दिवशी हिंदीत पाठवलेला संदेश त्याने वाचून दाखवला. त्यात म्हटले होते की, जो महत्त्वाचा निर्णय आपण घेणार होतो तो उद्या घेणार आहे. तुम्हांस निर्णय रेडियोवरून समजू नये, आधी माहीत व्हावा म्हणून कळवीत आहे. शक्य असेल तर कार्यक्रम संपण्यापूर्वी परत या. इंदिरा गांधीचा हा संदेश आल्यानंतर संध्याकाळी बी. बी. सी. ने आणीबाणी उठणार असल्याचे वृत्त प्रसारित केले. यशवंतरावांनी वेणुताईंना लिहिलेल्या पत्रात हवा मोकळी होईल. आपण आनंदात आहोत, असे लिहिले होते.
आनंदात राहावे अशी मात्र परिस्थिती यशवंतरावांच्या व काँग्रेच्या बाबतीत राहिली नाही. निवडणूक आली आणि उत्तर भारताप्रमाणे महाराष्ट्रात काँग्रेसला हादरा बसला नाही, तरी तिच्या निवडून आलेल्या खासदारांची संख्या घटली. पण मुख्य म्हणजे इंदिरा गांधींचाच पराभव झाला आणि ६७ साली जे झाले नाही ते झाले. म्हणजे केंद्रातील सरकार काँग्रेसच्या हातात राहिले नाही. स्वातंत्र्य मिळाल्यापासून हे प्रथमच घडत होते. जनता पक्षाचे मंत्रिमंडळ स्थापन होऊन मोरारजीभाई पंतप्रधान झाले. अल्पमतांतील काँग्रेस हा अधिकृत विरोधी पक्ष म्हणून मान्य होऊन, यशवंतराव विरोधी पक्षाचे नेते बनले. त्यांनी १९४६ मध्ये मुंबई विधानसभेवर निवडून आल्यानंतर प्रथम संसदीय सचिव (पार्लमेंटरी सेक्रेटरी) म्हणून काम करायला सुरुवात केली. तेव्हापासून ७६ सालपर्यंत ते या ना त्या मंत्रिपदावर प्रादेशिक पातळीवर व नंतर केंद्रात राहिले. परराष्ट्रमंत्री हे त्यांचे शेवटचे मंत्रिपद. त्यांची संसदीय कारकीर्द ही अधिकारपदस्थ म्हणून झाली असता, आता प्रथमच विरोधी पक्षनेतेपद त्यांच्याकडे आले.
इंदर मल्होत्रा लिहितात की, निवडणुकीचे निकाल लागल्यानंतर काही महिन्यांनी यशवंतराव व हक्सर यांची भेट झाली असता यशवंतरावांनी विचारले की, आपण आणीबाणीला केव्हा विरोध करायला हवा होता, असे तुम्हांला वाटते? हक्सर यांनी यशवंतरावांनी बेचाळिसच्या आंदोलनात केलेल्या धैर्यशील कामगिरीची आठवण करून दिली. (इंदिरा गांधी, पृ. १७२) हक्सर हे स्वतःच आणीबाणीची झळ लागलेले गृहस्थ होते. संजय गांधी यांच्या मोटार कंपनीची योजना त्यांना नापसंत होती व त्यामुळे ते मर्जीतून उतरले. इतकेच नव्हे, तर त्यांच्या दिल्लीतील मोठ्या व्यापारी नातेवाइकांची प्राप्तीकर खात्याने झडती घेतली. वास्तविक इंदिरा गांधींच्या हातात जास्तीत जास्त सत्ता केंद्रित करण्याचे धोरण हक्सर यांनी राबवले होते. त्यांच्या अखेरच्या काळात त्यांची दृष्टी गेली होती. त्यांना मी भेटलो तेव्हा ते बोलण्याच्या भरात म्हणाले की, आपली स्वतःची विकेट एकदा नव्हे, तर दोन वेळा स्वतःच उडवणा-या व्यक्ती आपण पाहिल्या आहेत. आणीबाणी पुकारून संजय गांधी यांना दिलेले मोकळे रान आणि नंतर पुन्हा अधिकार आल्यानंतर पंजाबच्या प्रश्नात भिंद्रनवाले यास हाती धरण्याचे संजय व झैल सिंग यांच्या राजकारणास दिलेले मुक्तद्वार; हे बहुधा हक्सर यांना अभिप्रेत असावे. आणीबाणी व त्याआधीचे जयप्रकाश यांचे आंदोलन यांचे विश्वलेषण करताना प्रसिद्ध समाजशास्त्रज्ञ आन्द्रे बेटेल यांनी म्हटले आहे की, इंदिरा गांधी व जयप्रकाश नारायण यांनी लोकशाहीच्या रक्षणाची भूमिका घेतली खरी, पण दोघांनी दोन विरुद्ध बाजूंनी ती ताणली. यामुळे गोंधळ निर्माण झाला.
संसदेचे अधिवेशन सुरू होताना राष्ट्रपतीचे भाषण झाल्यानंतर, आभारप्रदर्शनाच्या वेळी यशवंतरावांनी विरोधी पक्षाचा नेता म्हणून भाषण करताना, सत्ताधारी पक्षाला साखरेत घोळलेली कडू गोळीही दिली. ते म्हणाले की, आम्ही ३५० होतो तर तुम्ही आज २७० आहांत. तसे राहालच याची खात्री नाही. जनतेने आणीबाणी झिडकारली पण तिने जनता पक्षाचा स्वीकार केला असे ठामपणे म्हणता येत नाही. आणीबाणी ही चूक होती आणि आम्ही ही चूक कबूल केली आहे. आणीबाणी ही काँग्रेसची परंपरा नाही. आणीबाणीच्या आधीच्या काळात काही पक्षांनी निर्माण केलेल्या वातावरणामुळे आणीबाणी आली. त्या काळात नोकरशाही आणि सत्ता राबवणारे यांच्याकडून अतिक्रमण झाले. पण ही काँग्रेसची परंपरा नाही. तुम्ही काँग्रेसवर टीका करा पण देशाचे नुकसान करू नका. तुमच्यातलेच काही काँग्रेसमध्ये होते आणि अधिकारपदावरही होते. तेव्हा काँगेसने केले ते सर्वच त्याज्य ठरवणे तुम्हांला शोभणारे नाही. अर्थसंकल्पावरील चर्चेत भाग घेताना यशवंतरावांनी विविध मंत्र्यांमधील मतभिन्नता कशी स्पष्ट होते, हे दाखवू दिले आणि जनता पक्षाच्या आर्थिक धोरणाची दिशा कोणती हे समजू शकत नाही, असे मत दिले. जनता सरकारने आपण खरे अलिप्ततावादी धोरण अमलात आणू अशी ग्वाही दिली होती. त्याबद्दलही सभागृहात ब-याच चकमकी उडाल्या. तथापि मोरारजी देसाई यांनी अणुबॉम्बच्या विरोधी मत व्यक्त केले तेव्हा जनता सरकारला पेचात पकडल्याची संधी यशवंतरावांना मिळाली. त्यांनी विचारले की, हे पंतप्रधानांचे वैयक्तिक मत आहे, की जनता सरकारची ती भूमिका आहे? यावर आपले ते वैयक्तिक मत असल्याचा खुलासा करणे पंतप्रधानांना भाग पडले.