Родился в с. Синеглинье Вобловицкой вол. Вятской губ. в семье крестьянина. Учился в Вятской семинарии, с 1775 — в Славяно-греко-латинской академии, затем в Московском университете. С 1782 служил в Москве. А. С. Пушкин в стихотворении «К другу стихотворцу» писал: «Костров на чердаке безвестно умирает…». Печатать стихи Костров начал в 1773; сотрудничал в «Собеседнике любителей российского слова», «Аонидах» и др. Сочинял оды в духе классицизма, пытаясь следовать М. В. Ломоносову. В дальнейшем стремился использовать поэтические достижения Г. Р. Державина в своих одах. Написал также несколько песен и стихов, близких к поэзии сентиментализма. Главное в литературной деятельности Кострова — переводы. Он перевел поэму Вольтера «Тактика», поэму Арно старшего «Эльвирь» и др. Его перевод книги Апулея «Превращения, или Золотой осел» (1780–81) был единственным в России вплоть до XX в. Костров впервые перевел шестистопным ямбом «Илиаду» Гомера (песни 1–6, 1787; песни 7–9, изд. 1811). Прозаический перевод «Песен Оссиана» (1792, с фр.) Костров посвятил А. В. Суворову, с которым был в дружеских отношениях. Интерес Кострова к Оссиану, отражающий предромантические веяния, способствовал распространению «оссианизма» в России. Внимание писателей XIX в. привлекали не только литературные труды, но и романтическая личность поэта.