江戸時代の知覧は当初、島津家の分家である佐多氏が地頭として治めていました。佐多氏には優れた当主が多く出て、薩摩藩の中でも重要な役目を果たしました。その功績によって佐多氏十六代久達の時代に、知覧の私領地化と島津姓の使用が許されました。
現在残る武家屋敷群は、佐多氏十八代島津久峯(1732~1772)の時代に造られたものではないかとされています。地区内は石垣で屋敷が区切られ、沖縄によく見られる石敢當(魔よけの石碑)や、屋敷入口には屋敷内が見えないように屏風岩(沖縄のヒンプン)があります。知覧の港が江戸時代に琉球貿易の拠点であったことから、武家屋敷も琉球の影響を多く受けているようです。