当初は弟2人を鯨組の世話にあて、自分は前平の政務役所から出向いて指揮していましたが年々漁が忙しくなり、寛文4年(1664)に神浦に移住しています。
井元氏の屋敷は、天降神社の下に広い敷地を有していました。
明治前期の字図（あざず）によると勘定場井戸の右手は「物洗い場」、神社下の右手は「物干し場」となっており、共同井戸として使用されていたことがわかります。

ちなみに井元氏屋敷裏の入り江は「船引き場」となっています。近くには、井元氏建立の真教寺、井元氏寄進の天降神社の石燈籠(享保2年･1717)・真教寺の梵鐘(享保9年･1724)、鯨見物の藩主をもてなしたという鯨遠見所兼茶室があった茶屋の坂石垣、鯨組下屋敷などがあり、往時の繁栄を今に伝えています。