como borro la prueba del servidor

Hola!
Hice el curso de divs y ahora quería hacer una prueba por mi cuenta, y no sé como puedo borrar lo que tengo subido en la web y así poder subir lo nuevo...:confused:
Alguien me puede ayudar?
Gracias
Si lo haces en HTML-Kit, si quieres borrar un archivo o carpeta, haces click derecho sobre el y le das a delete
Gracias por contestar Rabs,

Lo he probado, y ningún problema, però cuando le cargo los nuevos .html y el .css me da este error...

Not Found

The requested URL /plantilla.html was not found on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

He pensado que no debía de ser así...
Eso quiere decir que lo has subido mal... Dime que carpetas has borrado JUSTAMENTE