UPD: News Harvester v.0.4
25 Июл
Обновился функционал News Harvester
- Добавлена работа с проксями
- Добавлена выборка из рсс-ленты
Работа с проксями (proxy)
Обновлена страница конфигурации, добавлено 2 параметра
- URL to proxy file - путь, именно URL, т.е. можно указать ресурс, проксики должны быть с новой строки и хост отделен от порта двоеточием
- Proxy tries - кол-во попыток на действие с проксей, действий у нас три(грабинг картинок, грабинг новостей, грабинг RSS)
- добавлен тригер “Use proxies?” при edit feed и add feed
- При грабинге RSS и новостей - если мы не смогли достучаться до RSS или до новости по причине плохой прокси, то фид слетит в stopped feeds с причиной bad proxy, при этом… если он не смог взять новость,то он сделает это ошибкой новости, а если не смог взять RSS, то сделает ошибкой RSS
- проверка шаблона работает не через прокси
- прокси крутятся по кругу, т.е. если кол-во новостей меньше кол-ва “Proxy tries”, то они будут крутиться по кругу
Основные моменты работы с прокси
