# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio

# User-agent: webcrawler
# Disallow:

# En cambio lycra y BadBot
# tiene prohibido integramente el acceso

# User-agent: larbin
# User-agent: Xenu Link Sleuth
# User-agent: BaiDuSpider
# Disallow: /

# El resto de bots (seņalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.

# User-agent: *
# Disallow: /tmp
# Disallow: /logs