江戸時代後期には右松半兵衛（100石）の屋敷でしたが、1911年(明治44)、服部新兵衞が京都から大工と庭師を呼んで、全国の銘木を使用して建築した本宅です。当時、服部家は飫肥を代表する山林地主であり、飫肥杉はもちろんのこと、ブリ網の網元や缶詰製造販売などで莫大な富を得ていました。約1000坪の屋敷地に主屋と離れ、土蔵と庭園があります。また、コケ博士として著名な服部新佐（ｼﾝｽｹ) は新兵衞の孫にあたります。氏は、昭和21年に財団法人服部植物研究所を設立してコケの研究に専念し、平成４年に亡くなるまでに同研究所を民間では日本最大の標本数を誇るコケの研究機関に育て上げました。現在もなお、全世界の服部博士の薫陶を受けた教え子が研究論文を寄稿し、毎年英文の研究紀要が発行されています。