Предпринимая в 1825 году издание своих стихотворений, Пушкин собирался заказать к нему виньетку и писал брату и П. А. Плетневу: "Что, если б волшебная кисть Толстого..." В это же время поэт упомянул в четвертой главе "Евгения Онегина" о "чудотворной кисти" художника.
В первой половине XIX столетия имя Толстого - скульптора и медальера, живописца и рисовальщика - пользовалось большой популярностью в русском обществе. Широко известны его сюита медальонов с аллегорическими изображениями сцен на сюжеты Отечественной войны 1812 года и серия классических рисунков к поэме "Душенька" И. Ф. Богдановича. Сюита была известна Пушкину по изданию "Собрание разных изображений с медалей, представляющих воинские действия, происходившие в 1812, 1813 и 1814 годах" (СПб., 1818).
Толстой сочувствовал декабристскому движению и даже состоял председателем коренной думы Союза благоденствия. За непринадлежность к позднейшим тайным обществам был "оставлен без внимания".
Круг знакомых художника был широк - он включал не только товарищей по профессии, но и ученых, писателей, общественных деятелей.
В салоне А. Н. Оленина, как вспоминал позднее Толстой, он "познакомился и очень хорошо сошелся с Гнедичем, Крыловым, Жуковским, Пушкиным и Плетневым" (1817 - 1820). Встречался он с Пушкиным также в 1831 году в Царском Селе и в 1833 году в Петербурге на похоронах Гнедича.