Als webhosting provider reken je je shared webhosting klanten onder andere af op de hoeveelheid dataverkeer die er verbruikt wordt. Dit is opgebouwd uit FTP verkeer en het verkeer dat de website bezoekers genereren. Het dataverkeer voor mailen wordt meestal buiten beschouwing gelaten.
Dataverkeer door FTP
Het FTP verkeer is niet heel erg spannend. Het FTP verkeer wordt gelogd en deze logfile wordt iedere dag doorgelopen. Het dataverkeer dat is verbruikt wordt per klant opgeteld en bewaard. Waar vooral veel vragen over binnen komen is het dataverkeer van/naar de website.
Dataverkeer via de Website
Voor het dataverkeer via de website worden de logfiles van de webserver gebruikt. Ieder pagina, plaatje, pdf of wat voor bestand er door een website bezoeker wordt bekeken wordt gelogd in de webserver log. Ieder uur worden de website statistieken bijgewerkt en de verwerkte statistieken worden bewaard. Deze bewaarde statistieken worden ’s nachts verwerkt en het dataverkeer dat hieruit wordt vastgesteld wordt weer per klant opgeteld en bewaard. Je kan dus zelf eenvoudig nakijken waarom je de ene maand meer dataverkeer verbruikt dan de andere maand. Via het controle paneel kan je deze website statistieken namelijk inzien.
De website statistieken zijn zeer uitgebreid en er kan veel uitgehaald worden: Waar komen de bezoekers vandaan? Via welke website zijn ze doorverwezen? Hoeveel bezoekers zitten er dagelijks op de website? Welke pagina’s worden vaak bekeken? Etc, etc.
Bekeken en onbekeken dataverkeer
Waar regelmatig de discussie over ontstaat is waarom een bepaald onderdeel zoveel dataverkeer veroorzaakt. Meestal is het het onbekeken dataverkeer dat bovenaan de statistieken wordt vermeld. Het totale dataverkeer wordt namelijk bepaald door het bekeken en onbekeken verkeer op te tellen. Onder het onbekeken dataverkeer valt al het dataverkeer dat veroorzaakt wordt door zogenaamde bots.
Bots zijn de automatische processen van zoekmachines welke regelmatig pagina’s van websites ophalen. Daarmee worden de zoekresultaten van bijvoorbeeld Google bijgewerkt. Aangezien dit geen echte personen zijn die naar de pagina kijken, wordt dit onbekeken dataverkeer genoemd. Dit onbekeken dataverkeer is wel dataverkeer dat veroorzaakt wordt door de website, dus het wordt wel meegeteld in het dataverkeer totaal van je website.
Het dataverkeer kan ingeperkt worden, door bijvoorbeeld Google te verzoeken om niet zo vaak je website te bezoeken. Bij Google kan je dit instellen via de webmaster tools, welke je kan vinden op https://www.google.com/webmasters/tools. Voor andere bots zal je contact met hen moeten opnemen, of de bot in zijn geheel moeten blokkeren in een robots.txt bestand welke je plaatst in de hoofdmap van je website.
Het wel of niet respecteren van het robots.txt bestand is afhankelijk van de bot van de betreffende zoekmachien. Wat je kan instellen in het robots.txt bestand kan je nalezen op http://www.robotstxt.org/.
TeamViewer
