Робот портала Кэшалот.ру

Кэшалот.ру — информационный сервис о курсах наличной валюты в офисах банков. Портал не проводит обменных операций, не покупает и не продаёт валюту.

Чтобы показывать курсы, портал использует программу-робота CashalotBot. Робот открывает страницы официальных сайтов банков, где банк сам публикует курсы наличной валюты, и забирает с них значения курсов. На этой странице — что робот делает, как его узнать и как попросить его не заходить на ваш сайт.

Что делает робот

  • Заходит только на официальные сайты банков и только на страницы, где опубликованы курсы наличной валюты. Сайты других сервисов о курсах робот не посещает.
  • Берёт только значения курсов покупки и продажи доллара США, евро, китайского юаня и дирхама ОАЭ и время их публикации, если оно указано на странице.
  • Перед каждым обходом читает файл robots.txt сайта и выполняет его правила (подробнее — в разделе «Как запретить роботу заходить на сайт»).
  • Открывает страницу курсов не чаще одного раза в 30 минут и только с 08:00 до 21:00 по московскому времени. Ночью робот не работает.
  • Отправляет запросы к сайту по одному, без параллельных запросов, с паузой не меньше 10 секунд. Если в robots.txt указан Crawl-delay больше 10 секунд, робот ждёт столько, сколько указано.
  • Каждый запрос записывается в журнал: время, адрес, ответ сайта и объём полученных данных. Журнал нужен, чтобы при вопросах можно было проверить, когда и как часто робот обращался к сайту.

На портале рядом с курсом мы указываем, что он получен по данным сайта банка, время его получения и ссылку на страницу курсов на сайте банка. Курсы показываются как индикативные: точный курс операции сообщает банк.

Чего робот не делает

  • Не входит в личные кабинеты и закрытые разделы, не вводит логины и пароли.
  • Не обходит защиту сайта: не решает капчи, не проходит проверки «я не робот», не выполняет проверочные скрипты, не отправляет cookie, не меняет IP-адреса и не пользуется прокси.
  • Не выдаёт себя за браузер или за другого робота: в каждом запросе он называет себя CashalotBot и указывает адрес этой страницы.
  • Не копирует тексты, оформление, логотипы и разметку страниц. Страницы целиком в базу данных портала не сохраняются и на портале не публикуются. Чтобы проверять работу робота, на сервере хранится только копия последнего ответа страницы курсов и последнего ответа, из которого не удалось взять курсы. Копии удаляются автоматически не позднее чем через 7 дней.
  • Не собирает имена, телефоны и другие данные сотрудников и клиентов банка.
  • Не повторяет запрос, если сайт его отклонил. Если сайт отвечает отказом в доступе, ограничением частоты запросов или страницей проверки, робот прекращает обращаться к этой странице, а мы разбираемся вручную.

Как узнать робота

В каждом запросе робот передаёт заголовок User-Agent:

CashalotBot/1.0 (+https://cashalot.ru/legal/bot/; legal@cashalot.ru)

Номер версии после «CashalotBot/» может меняться. Имя CashalotBot, адрес этой страницы и адрес для обращений остаются прежними.

Если вы видите запросы с этим именем, которые не похожи на описанное выше (например, ночью, чаще раза в 30 минут или к закрытым разделам), сообщите нам на legal@cashalot.ru. Укажите время запросов и адреса страниц. Возможно, это не наш робот: имя в заголовке может подставить кто угодно.

Как запретить роботу заходить на сайт

Есть два способа. Можно использовать любой из них или оба.

Через robots.txt

Добавьте в файл robots.txt вашего сайта группу для CashalotBot. Чтобы закрыть весь сайт:

User-agent: CashalotBot
Disallow: /

Чтобы закрыть только раздел, например страницу курсов:

User-agent: CashalotBot
Disallow: /путь-к-странице-курсов/

Чтобы робот заходил реже, укажите паузу между запросами в секундах:

User-agent: CashalotBot
Crawl-delay: 60

Робот читает robots.txt перед каждым обходом, поэтому новое правило начинает действовать при следующем обходе — обычно в пределах 30 минут. Робот выполняет и правила для всех роботов (группа User-agent: *): если страница курсов закрыта там, он на неё не заходит. Если файл robots.txt есть, но сайт не отдаёт его из-за ошибки, робот на сайт тоже не заходит.

Письмом

Напишите на legal@cashalot.ru. Укажите наименование банка и его БИК или регистрационный номер Банка России и адрес сайта. Направьте письмо с адреса в домене банка или приложите письмо на бланке. Правовое обоснование прикладывать не обязательно.

После письма робот перестаёт обращаться к сайту банка в день получения обращения. Ранее размещённые сведения о курсах банка перестают отображаться на портале не позднее трёх рабочих дней после дня получения обращения. Сроки и порядок такие же, как на странице «Контакты». Это не зависит от заключения каких-либо договоров с порталом или от других действий банка.

Адрес для обращений

Вопросы о работе робота, просьбы не заходить на сайт и сообщения об ошибках в курсах: legal@cashalot.ru. Другие контакты портала — на странице «Контакты».