Nokre kilometer utom Ulsteinvik ligg garden Ulstein, som heile heradet har fått namn etter. Her har vare hovdingsæte og storfolk har budd her i eldre tider. Garden Ulstein vart ein samlingsstad for folket som budde langs strendene og på dei næraste øyane.
Den gamle «byen» låg mestedelen av på sørsida av Ulsteinelva i området der Petter J. Ulstein sitt tun ligg no, litt aust om hovudvegen til Flø. Før utskiftinga kom for ikring hundre år sidan, var her ein liten landsby med på lag 30 hus i ei klynge: våningshus, løer, fjøsar, stabbvr og stallar. I god fråstand frå desse husa låg smiene.
Dei mange gravrøysene, som framleis er å sjå, er vitne om at her har budd folk på tuftene i bronse- og jernalder. Trygt kan me gå ut i frå at her var e.i,n glimrande bµstad også lenger tilbake i steinaldertida.
Då kristendomen kom, vart kyrkja bygd på ein terasse vest om bygdebyen. På same vis som dei la bronsegraver på stader som var lett synlege, fekk kyrkja ein stad med fritt utsyn til sjøen og farleia til båtane som sigla nord- eller sørover. Då den kvitkalka steinkyrkja kom, vart ho ved sida av å vere den kristne samlingsstaden, også eit traust sjømerke.
