Сергей Толстой умер 4 января в хосписном центре в Бетесде, штат Мэриленд. Он был единственным сыном внучки Льва Толстого Веры, жизнь которой оборвалась в 1999 году. У Сергея не осталось близких родственников.
Толстой провёл большую часть своей жизни в Европе, где играл в азартные игры. К концу 1960-х годов он стал жителем Вашингтона.
В течение трех десятилетий Сергей Толстой жил в квартире для престарелых в районе Фогги Боттом.