15 декабря 1883 года в звании штабс-капитана прибыл на службу в лейб-гвардии Измайловский полк, где командовал 1-й ротой. В 1886 году вышел в свет его первый поэтический сборник «Стихотворения К. Р.». На стихотворение великого князя «Умер, бедняга! В больнице военной долго родимый лежал…» Я. П. Полонским была написана песня, которая снискала огромную популярность и стала народной. В 1888 году Константин Константинович издал первую поэму «Севастиан-мученик». Целый цикл его стихов «Из полковой жизни» был посвящен службе в Измайловском полку — на базе полкового офицерского собрания Константин Константинович организовал легендарный закрытый клуб «Измайловский досуг». Это было объединение офицеров по интересам, готовивших творческие встречи, музыкальные и поэтические вечера, театральные постановки. В проведении вечеров принимали участие профессиональные актеры и исполнители императорских театров, вместе с которыми выступали офицеры полка. Вечера и репетиции проводились в здании офицерского собрания полка, которое находилось на месте современного здания по адресу Измайловский пр-т, д. 4, в Павловском дворце (в резиденции Константина Константиновича), в Императорском Эрмитажном театре и других царских резиденциях.
В 1889 году Константин Константинович был назначен президентом Академии наук. По его инициативе при Отделении русского языка и словесности был учрежден разряд изящной словесности, по которому в почетные академики были избраны И. А. Бунин, В. Г. Короленко, А. П. Чехов и др. Великий князь возглавлял комитет по празднованию 100-летия со дня рождения А. С. Пушкина.
В 1891 году Константин Константинович в чине полковника был назначен командующим лейб-гвардии Преображенским полком. В 1900 году стал Главным начальником военно-учебных заведений, занимаясь организацией военного образования, прежде всего кадетских корпусов и военных училищ. В 1901 и 1907 годах Константину Константиновичу были присвоены звания генерал-лейтенанта и генерала инфантерии.
Значительную часть своей жизни Константин Константинович посвящал искусству и поэзии. На тексты К. Р. разными композиторами написано около семидесяти романсов: П. И. Чайковским («Задремали волны», «Растворил я окно», «Серенада» и другие), Ц. А. Кюи, С. В. Рахманиновым, А. К. Глазуновым и другими. В 1900-е годы великий князь занимался переводами Ф. Шиллера и У. Шекспира. «Гамлет» в его переводе был несколько раз переиздан. Венчает литературное творчество К. Р. драма «Царь Иудейский», в которой великий князь обратился к евангельскому сюжету последних дней земной жизни Иисуса Христа, его казни и Воскресения. Музыку написал А. К. Глазунов, премьера состоялась в Эрмитажном театре 9 января 1914 года.
Великий князь был активным участником многочисленных обществ: Русского астрономического общества, Русского исторического общества, Русского общества Красного Креста, Русского общества содействия торговому судоходству. Константин Константинович оказал поддержку снаряжаемой Академией наук Русской полярной экспедиции барона Э. В. Толля. Был официальным покровителем созданного в 1911 году Всероссийского трудового союза христиан-трезвенников.
У великого князя Константина Константиновича и его супруги, великой княгини Елизаветы Маврикиевны (урожденная принцесса Саксен-Альтенбургская) было восемь детей, которые получили титулы князей императорской крови.
Великий князь Константин Константинович скончался в 1915 году в своем кабинете в Павловском дворце. Он был последним из Романовых, умершим до революции и погребенным в великокняжеской усыпальнице Петропавловской крепости.