A diferença entre uma hospedagem Windows e uma hospedagem Linux consiste basicamente, como você mesmo diz, no sistema operacional do servidor onde estará sua página web. Ambos servidores, tanto em um como em outro sistema, têm instalados programas para fazer de servidor web, por isso realmente sua página seria servida igualmente tanto desde um sistema ou desde outro e as pessoas que visitarem seu site, à princípio não notariam nada.

Pois bem, por trás do sistema operacional existe uma série de tecnologias que mudam. Porque os servidores web que se utilizam em Linux são diferentes dos que se utilizam em Windows. Da mesma maneira, as tecnologias de programação também diferem, embora em alguns casos possam ser inclusive as mesmas. Enquanto que em Linux costuma-se utilizar PHP, em Windows se tem a possibilidade de programar em ASP ou .NET. Com os bancos de dados ocorre o mesmo, costumam diferenciar os que se utilizam em um e outro sistema.

Portanto, digamos que se sua página web não vai ter nenhuma linguagem de programação ou banco de dados, pois pode ser um pouco indiferente o sistema operacional que tiver hospedado seu site. Costuma-se dizer que o sistema Linux com o servidor web Apache é mais estável que o sistema Windows com seu servidor web IIS. Ademais, muitas vezes as hospedagens Windows são mais caras, sendo assim você poderia se inclinar por um hosting Linux, visto que não é a toa que a dupla Linux-Apache é líder do panorama de servidores web.

Se sua página for ter um banco de dados, com programação do lado do servidor, então tudo depende das tecnologias com as que você irá preferir trabalhar. Se quiser programar, por exemplo, em .NET irá se inclinar por um Windows e se quiser utilizar, por exemplo, PHP lhe interessará mais um Linux.