А. Л. Толстой женился на О. К. Дитерихс, сестре А. К. Чертковой.

В письме к главноначальствующему гражданской частью на Кавказе Г. С. Голицыну Толстой просил не чинить препятствий деятельности по переселению духоборов за границу (см. ПСС, т. 71, № 308).