Мемуаристы южного периода жизни Пушкина единодушны в мнении, что Алексеев был одним из близких и преданных друзей поэта в годы его ссылки в Кишинев и Одессу. Он был, по свидетельству И. П. Липранди, "вполне достоин дружеских к нему отношений Александра Сергеевича... будучи старожилом - ввел Пушкина во все общества. Русская и французская литературы не были ему чужды". Поэта и чиновника канцелярии Инзова можно было видеть вместе в масонской ложе "Овидий", членами которой они состояли, у М. Ф. Орлова и в кишиневском обществе.
"Мы некогда жили вместе, - вспоминал позднее Алексеев, - часто одно думали, одно делали и почти - одно любили; иногда ссорились, но расстались друзьями..."
Пушкин посвятил своему другу стихотворные послания "Приятелю", "Мой милый, как несправедливы" и поэму "Гавриилиада" (все 1821). Позднее они поддерживали переписку. Алексеев сообщал поэту о старых знакомых и местных новостях. "Не могу объяснить тебе моего чувства при получении твоего письма, - писал ему Пушкин. - Милый мой, ты возвратил мне Бессарабию". Из Михайловской ссылки поэт писал в далекую Бессарабию:
Прощай, отшельник бессарабской,
Лукавый друг души моей -
Порадуй же меня не сказочкой арабской,
Но русской правдою твоей.
После Кишинева и Одессы Пушкин и Алексеев больше не встречались. Случайно сохранившийся экземпляр "Истории Пугачевского бунта" с авторской надписью: "Любезному другу Алексееву от Пушкина в память бы лова" (1835) завершает историю их взаимоотношений.
Алексеев был усердным собирателем творческого наследия Пушкина. В его архиве хранились автографы "Гавриилиады" и разных стихотворений, письма к нему и другим лицам, а также "Заметки по русской истории XVIII в.".