Ønsker du å stoppe enkete roboter i å trekke ressurser fra nettsiden din? Dette kan du enkelt gjøre med en .htaccss regel i Apache.
Legg inn følgende tekst i din .htaccess fil i ~/public_html , /var/www/html – eller tilsvarende sted du har lagret nettsidene dine:
#
# User-Agent filter i Apache:
#
SetEnvIfNoCase User-Agent "Amazonbot" blocked_bot
SetEnvIfNoCase User-Agent "SemrushBot" blocked_bot
SetEnvIfNoCase User-Agent "MJ12bot" blocked_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=blocked_bot
</Limit>
Dette vil filtrere på ting som Amazonbot, SemrushBot og MJ12bot i User-Agent delen.
