明和4(1767)年、側用人になった意次は、さらなる加増を受けて合計2万石の大名になり、相良に築城することを許されます。
工事は翌5(1768)年から始まり、安永9(1780)年に完成しました。
また、城下町の建設にも取り組み、防火のために町家(まちや)の屋根を板や瓦にかえたり、交易のために相良・川崎・藤枝間を結ぶ田沼街道をつくったりしました。
こうした政策は、相良湊や川崎湊の価値をさらに高め、郷土をますます発展させました。