Позднее Гарновский был поверенным в делах герцогини Элизабет Кингстон (ур. Чодлей, 1720–1788), заведовал ее земельным участком на Неве. Умершая за границей герцогиня завещала Гарновскому денежную сумму, однако по его просьбе вместо денег в собственность Гарновского Екатерина II передала дом герцогини Кингстон у Измайловского моста, а также земли у Красного Кабачка и по Неве близ Островков. Гарновский начал возведение дома на набережной Фонтанки, 120, возле дома поэта Г. Р. Державина (наб. Фонтанки, д. 118), но не смог его достроить из-за нехватки средств. В связи с финансовыми трудностями он неоднократно подавал прошения императрице о пособии, что дало Державину повод написать эпиграмму «Челобитная о достройке дома»
.
По вступлении на престол императора Павла I Гарновский подвергся преследованию: по одной из версий, из-за наследства герцогини Кингстон, по другой – из-за отсутствия отчетов о деньгах, которые он как поверенный князя Г. А. Потемкина переводил в армию во время Русско-турецкой войны 1787–1791 годов. В 1797 году Гарновский был арестован, отдан под суд и заключен в тюрьму. В 1798 году дело против Гарновского было завершено лишением права быть душеприказчиком герцогини Кингстон, так как в это право вступила казна. Дом на набережной Фонтанки, 120 был куплен казной за 100 000 рублей. Вначале в нем разместились конногвардейские конюшни, а позднее – казармы Измайловского и лейб-гвардии Егерского полков.
Вскоре после освобождения Гарновский за невыплату долга вновь попал в городскую тюрьму, где оставался вплоть до воцарения Александра I. За картежную игру Гарновского выслали из Петербурга в Тверь под надзор полиции, но по ходатайству Тверского генерал-губернатора, принца Георга Ольденбургского, он был возвращен в Петербург с подпиской об отказе от игры. В дальнейшем Гарновский занимался различными спекуляциями и завершил жизнь в крайней бедности. Точная дата его смерти неизвестна.
Записки Гарновского В. С. Попову, правителю канцелярии князя Г. А. Потемкина, о событиях государственной, общественной и придворной жизни екатерининского времени впервые были опубликованы в 1876 году в журнале «Русская старина».
