PRueba esto
1.- En la hoja de estilo defines esta capa, que va a contener tooooda la web:
#contenido {MARGIN: 0px auto; WIDTH: 800px; }
Si no tienes hoja de estilo (a qué esperas??) pon ese codigo a continuación de los que ya tienes en cada página (dentro del HEAD). LLo malo de no tener los estilos separados en una hoja de estilos es que ahora te toca hacerlo en todas las páginas. Si lo pasas a una hoja de estilo, el codigo de cada página te queda mucho mas corto y claro, y ademas si cambias algo solo has de variarlo en la hoja y no en todas las páginas como ahora... toma nota!!
2.- Justo después del <BODY>, en cada una de las páginas de tu web, pon esto otro:
<div id="contenido">
3.- Justo al final del código html de cada página pones esto (justo antes del </BODY>):
</div>
Haz la prueba con una página de prueba y miras si funciona con varios navegadores. A mi me funciona con todos.
Eso si, una vez haces esto igual te sobran cosas de las que ya tenias, como esto rojo:
body {
margin-left: 20%;
margin-right: 20%;
background-color: #006699;
}