15 февр. 2008 г.

robots.txt в Django проектах

Алекс Кошелев подсказал такой вариант (http://groups.google.com/group/django-users/browse_thread/thread/ea954b5ae4b4cc48?hl=en):

(r'^robots.txt$', 'django.views.static.serve', {'path':"/txt/robots.txt",'document_root': settings.MEDIA_ROOT,'show_indexes': False }),

UPD: А под апачем лучше лучше так:

LoadModule alias_module modules/mod_alias.so
alias /robots.txt /full/path/to/robots.txt

Далее надо указать SetHandler None для Location robots.txt, но бл*дский редактор блогера съедает символы больше/меньше, причем даже указанные в виде кодов...
А в файле, опять же: User-agent: *

4 комментария:

makkintosh комментирует...

Спасибо! работает!
Я напишу красиво об этом в своем блоге и сошлюсь на Вас :)

Ivan Markeev комментирует...

Пожалуйста! Всегда рад :)

Антон комментирует...

Спасибо. Только лучше не использовать первый способ в production. См. http://docs.djangoproject.com/en/1.1/howto/static-files/#the-big-fat-disclaimer

В качестве замены, чтобы не трогать апач, можно добавить это в конец urls.py:
http://dpaste.com/hold/409023/

Ivan Markeev комментирует...

Да, спасибо.
С 2008 года действительно многое изменилось (версия джанго, к которой написан "The big, fat disclaimer" вышла в июлю 2009-го).