З моменту свого заснування Національний музей «Київська картинна галерея» розташовувався в центральній частині міста, в особняку на вулиці Терещенківській, 9.
Його будівництво було пов'язане із загальною забудовою нового району на пустці перед будівлею Університету. Для проектування будівлі запросили відомого київського архітектора В.М. Ніколаєва (1847–1911). Закінчивши Академію мистецтв в Петербурзі, майже 40 років своєї діяльності як архітектора Ніколаєв пов'язав із Києвом. Він був київським міським (1873–1887) та єпархіальним (1875–1898) архітектором, архітектором Києво-Печерської лаври (1893–1899).
Будинок до 1878 р. вже було зведено, а 1880-го його власниця, М. Чаплинська, продала ділянку землі з особняком та іншими будівлями в подвір'ї колегійному раднику Ф.А. Терещенкові.
1881 р. Терещенко звертається до академіка архітектури А.Л. Гуна (Санкт-Петербург) і замовляє ескізний проект перебудови придбаної будівлі та оформлення її інтер’єру.
Протягом 1882–1884 рр. були виконані будівельні роботи, в яких брали участь петербурзькі підрядники, спеціалісти меблевої фірми Ф. Мельцера, скульптори А. Шварц, Г. Ботта, художник С. Садиков. Керував будівництвом автор первісного проекту В. Ніколаєв.
Саме тоді виникла ідея додаткової прибудови до будівлі, що містила спеціальне приміщення для картинної галереї та зимового саду.
Необхідність спорудження спеціального приміщення для художніх творів свідчить не тільки про фактичні розміри наявної вже на той час колекції та прагнення власника до її постійного поповнення. Ф. Терещенко вирішив зробити цю домашню галерею доступною для відвідування, підтвердженням чого може слугувати обладнання окремого входу з двору.
1885 р. будівництво закінчили, і сім'я переїхала до свого особняка. У цьому будинку Ф. Терещенко проживав зі своєю другою дружиною Надією Володимирівною (у дівоцтві Хлоповою). Тут у них народилися діти: 25 березня 1887 р. – Надія, 11 листопада 1888 р. - Федір, 3 серпня 1890 р. – Наталя.
Після смерті Федора Терещенка 1894 р. особняк і все майно, що в ньому було, згідно із заповітом перейшли у власність сина господаря при пожиттєвому володінні вдовою Надією Володимирівною. Виховуючи дітей, вдова розширює київські володіння, придбавши 1903 р. сусідню садибу, продовжує займатися доброчинністю. У роки першої світової війни в будинку організували лазарет – збереглося фото із зображенням Н.В. Терещенко, яка зустрічає 1915 р. імператрицю Марію Федорівну. 1899 р. до 80-річчя Миколи вулицю Олексіївську перейменували в Терещенківську.
Родина Терещенків залишила Київ 1917 р. Особняк після від'їзду власниці в роки революції й громадянської війни використовували різні організації та установи. Тут розташовувались Міністерство іноземних справ Центральної Ради, уряди Скоропадського та Директорії, штаби Червоної армії, Денікінської армії, штаб Драгомирова, польської кулеметної роти, Ревтрибунал 14-го корпусу Червоної Армії…
1919 р. Комісаріат народної просвіти Робочо-селянського уряду видав «охоронний лист на приміщення, що його займає картинна галерея на вул. Терещенківській», і підтвердив, що «всі художні та історичні цінності знаходяться під орудою Наркомпроса, реквізиції та користуванню іншими відомствами не підлягають».
Вулицю Терещенківську з 1919 р. неодноразово перейменовували: спочатку – Герцена, потім Чудновського, а від 1955 р. – Рєпіна. 1992 р. їй повернули назву Терещенківської.
Те, що будівлю протягом 96 років використовували як музей, сприяло не тільки її збереженню, а й концентрації в ній великих художніх цінностей. У сучасному вигляді будівля має значні втрати на головному фасаді (не збереглися каріатиди, балкони, парапет), у внутрішньому оздобленні. Але за умови капітального ремонту й реставрації все це може бути відновлено.
Біля будинку 1983 р. встановили пам'ятник І.Ю. Рєпіну роботи московського скульптора О. Комова. Цей твір – подарунок РРФСР місту Києву на його 1500-річчя.
2001 р. на фасаді музею розмістили меморіальну дошку, присвячену О.Я. Шульгіну (1889–1960) – першому міністру іноземних справ Україні.