Он родился в 1950 году в украинском Николаеве. В 1971-м Захаров поступил в музыкальное училище имени Гнесиных, а спустя два года перевелся в Ленинградское музыкальное училище имени Римского-Корсакова.
В 1975 году исполнил одну из главных ролей в фильме Леонида Квинихидзе «Небесные ласточки». Вместе с ним в ленте снялись Людмила Гурченко, Андрей Миронов и Александр Ширвиндт.
В 1996 году Захаров удостоился звания Народного артиста России.
В последние годы Захаров жил и работал в Москве и Санкт-Петербурге. С 2011 года был патроном международного фестиваля русской песни в Великобритании.
