В основе коллекции — частное собрание известного коллекционера Феликса Вишневского, постоянно дарившего городу что-нибудь по настоятельным требованиям сверху (в 1971 году, например, 300 произведений XVIII–XIX веков). Под коллекцию Вишневского последний из Петуховых завещал здание, и появился музей. Здесь и Иван Аргунов, и Алексей Антропов, и Иван Вишняков, и тройка лидеров XVIII века: Федор Рокотов, Дмитрий Левицкий, Владимир Боровиковский. И современник Тропинина — Орест Кипренский, и более поздний академик — Сергей Зарянко. Собрание акварельного портрета также включает работы крупнейших мастеров жанра: Петра Соколова, Владимира Гау, Карла Гампельна.