اذا لم تجد ما تبحث عنه يمكنك استخدام كلمات أكثر دقة.
بسبب تدهور صحة ألبا وعدم تحقيقه للمزيد من الانتصارات، فقد اضطر إلى أن يلتمس الانسحاب من حكومات البلدان المنخفضة. وفي ديسمبر 1573، قبل فيليب استقالته وعين مكانه لويس دي زونيغا ريكويسيني (Luis de Zúñiga y Requesens).
وعند عودته عامله فيليب بتمييز كبير في بعض الأوقات. ولكن ابنه، فادريكو دي توليدو، مع ذلك تزوج في السر من ابنة جارسيا دي توليدو (García de Toledo)، مخالفًا لأمر الملك. وضعفت إدارة كل من الأب والابن حتى وصلت للخزي. ونُفي ألبا من المحكمة وتقاعد في قلعة أوسيدا.
وظل ألبا في منفاه في القلعة حتى 1850، عندما سعت قيادته مرة أخرى في الحرب ضد البرتغال.