Его пристрастие к азартным играм привело почти к полному разорению. Несмотря на хорошее содержание, Алексей Григорьевич успел наделать огромные долги, за что и был возвращен обратно в Россию старшим братом императором Павлом. Сразу по возвращении Алексей Григорьевич был произведен в генерал-майоры и возведен в графское достоинство Российской империи. Местом жительства ему было определено имение Бобрики в городе Богородицке со всеми принадлежащими ему землями, специально построенном Екатериной для Алексея Григорьевича. В имении граф Бобринский проводит почти все свое время, занимаясь минералогией и астрономией, сельским хозяйством и химическими опытами. В Петербургском доме он организовал небольшую обсерваторию. Нередко он устаивал в своем доме театральные представления. В Бобриках же у него имеется огромная библиотека, в которой хранятся книги по интересующим его отраслям. Женившись на баронессе Анне Владимировне Унгер-Штернберг, Бобринский произвел на свет трех сыновей и дочь. Война 1812 года застала семью Алексея Григорьевича в его имении. На следующий год он скончался. Вдова пережила супруга на 33 года.
Младший сын Алексея Бобринского Василий был замечен в связи с декабристами, даже тайно создал и содержал типографию, однако не успел поучаствовать в восстании, так как находился далеко от России. Они с молодой женой отправились в это время в свадебное путешествие. Ему удалось избежать суда, так как он был двоюродным братом правящего тогда царя Николая 1.
Внук Алексея Бобринского при царе Александре втором был министром путей сообщения и занимался внедрением среди аристократов религиозных взглядов лорда Редстока, модного в то время миссионера и благотворителя. Лев Толстой в романе «Анна Каренина» описал имение Алексея Павловича под видом поместья графа Вронского. Писатель и министр неоднократно встречались в Богородицке, чтобы поговорить о вере.
Если бы сын Екатерины в свое время не наделал огромных долгов, то род Бобринских мог бы считаться довольно богатым. Но потомкам пришлось выплачивать большую часть их доходов в погашение процентов по долгам их предка. Чтобы наконец-то погасить все долги, новый владелец Богородицка, один из сыновей Алексея Павловича, после кончины отца вместе с другими родственниками, проживавшими на Украине, начал строительство сахарных заводов, которые стали приносить неплохую прибыль. Для переработки требовалась свекла, ею были засажены все окрестности. Но больший урожай давали посевы на юге страны, поэтому именно там было решено построить часть заводов. Хорошо оснащенные заводы требовали вложений. И к английским долгам предка добавились долги перед русскими банками. Алексей Алексеевич был удостоен золотой медали «за сахар-рафинад с его заводов, содействовавших распространению и улучшению свеклосахарного производства». Граф А.А. Бобринский считается родоначальником железных дорог в России. Дом Бобринских в столице всегда был открыт для посетителей. Здесь бывали Вяземский и Пушкин, Жуковский и Гурьев, и многие другие известные личности. Хозяйкой гостеприимного дома, или как модно было тогда называть – салона, была, Софья Александровна,жена Алексея Алексеевича, женщина с передовыми взглядами и острым умом.
Внук Алексея Григорьевича тоже оставил заметный след в российской истории. После большого пожара в имении, он взялся за реконструкцию поместья. Он заложил огромный фруктовый сад и превратил его в крупное сельскохозяйственное предприятие. Реконструировал и усовершенствовал доставшиеся в наследство сахарные заводы. За заслуги перед городом он был удостоен звания почетного гражданина Богородицка. И поныне одним из любимых уголков горожан являются липовые аллеи, заложенные при А.П. Бобринском.
В романе «Записки уцелевшего» С.М. Голицын так описывает имение Бобринских: «Когда мы приехали в Богородицк, то даже я – мальчик – поразился грандиозности имения: огромный парк, огромный дом-дворец над обширным прудом, два флигеля, огромная колокольня. Сама церковь в стиле Empire и склеп Бобринских находились в некотором отдалении. Все виденные мною до того имения казались скромными… Возле плотины был построен деревянный двухэтажный дом под названием «Община»». Именно в этом доме дочь Алексея Павловича Софья организовала курсы сестер милосердия, на которых учились девушки из соседних деревень. Ныне в имении находится историко-мемориальный комплекс «Бобрики».
Среди потомков рода Бобринских были политические деятели и просветители, генеалоги и министры, писатели и музыканты, ученые и депутаты. Как отмечают историки, все они, несмотря на то, что после революции 1917 года их разбросало по свету, - неотъемлемая часть русской истории.
