После смерти отца Альфонсо получил по завещанию Леон и Астурию. В 1067 году началась война между ним и его старшим братом Санчо II; последний разбил его в двух сражениях — при Льянтаде и Гальпехаре. Во втором сражении Альфонсо попал в плен, и брат заточил его в один из своих замков. Спустя некоторое время Альфонсо удалось бежать, и он нашёл приют при дворе Толедского эмира. Узнав в 1072 году о смерти Санчо II, Альфонсо тайно уехал из Толедо, и был провозглашен королем Кастилии. Младшего брата, правившего Галисией, он обманом захватил в плен и держал в строгом заключении до самой его смерти. Таким образом, Альфонсо овладел всем отцовским государством: Кастилией, Леоном и Галисией. Воспользовавшись тем, что эмир Севильи аль-Мутамид помогал Гарсии, Альфонсо начал против него войну. Эмиру удалось отвратить нашествие христиан только обещанием выплачивать большую дань. В 1082 году, обвинив мусульман в задержке дани. Альфонсо подступил к Севилье и три дня осаждал её. Вскоре после этого толедцы изгнали из города эмира аль-Кадира. В 1084 году Альфонсо вернул ему Толедо, потребовав за это увеличения дани и передачи некоторых крепостей. В следующем году, собрав большое войско, Альфонсо во второй раз подступил к Толедо. После недолгой осады аль-Кадир согласился капитулировать. 25 мая 1085 года Альфонсо торжественно въехал в древнюю столицу вестготского королевства. Напуганные успехами Альфонсо, испанские эмиры призвали на помощь вождя африканских альморавидов Юсуфа. В октябре 1086 года в сражении у Заллаки он нанес Альфонсо тяжелое поражение. Христиане понесли огромные потери. В 1090 году альморавиды вынудили кастильцев уйти из Аледо. В 1108 году сын Юсуфа Али разгромил кастильцев в битве при Уклесе. В этой битве пал Санчо, единственный сын Альфонсо. Потеря эта так потрясла старика, что он заболел и вскоре умер. Под давлением папского легата кардинала Ришара де Мийо, вопреки желанию клириков и народа Альфонсо VI на соборе в Бургосе (1080 год) заменил повсеместно использовавшийся в богослужении мосарабский обряд на римский. Сохранил привилегию продолжать службы по мосарабскому чину только 6 церквям Толедо и королевской базилике Сан-Ильдефонсо в Леоне.