当初は、1992年11月、故谷尾欽也氏が開設した美術館でした。昭和初期に建てられた洋館造りの医院を外観はそのままに内部を改装し、また1998年に新館を増設してモダンな雰囲気を演出した洒落たたたずまいで注目を集めていました。
2000年3月にご遺族から美術館と作品の寄贈を受け、2001年4月、直方市美術館（直方谷尾美術館）としてオープンいたしました。
直方市は、江戸時代より長崎街道の主要都市として栄えた直方藩の城下町。当館はその中心的位置にあり、直方歳時館・ユメニティのおがた・図書館の文化施設などとともに、新たな文化交流の場としてご利用ください。