Comment exactement je ne saurais dire, mais je pense qu'il utilise l'IP ou un identifiant quelconque lié à la connexion.
Les robots autorisés ici sont pour la plupart des moteurs de recherche comme google, yahoo, etc... pour permettre une indexation des pages du forum.