Webové agregátory môžu byť agresívne

Webové stroje pre načítavanie a spracovanie RSS/Atom delíme na dve odlišné skupiny:

• webstránka, ktorá načítava rôzne zdroje a potom ich obsah vkladá do svojich dokumentov. Zvyčajne ide o menej interaktívne stroje spojené s katalógom zdrojov pričom zaevidované zdroje proste periodicky načítava. Príkladom týchto strojov je weblogy.sk, weblogy.cz, blogportal.cz
• webstránka, ktorá umožní používateľovi založiť si konto, pridať svoj vlastný výber zdrojov. Ide vlastne o simulátor bežnej čítačky RSS/Atom. Príkladom je bloglines.com

Tie prvé sú viac alebo menej hlúpe stroje, ktorých zmysel, účel a využitie je viac alebo menej diskutabilné. V prvom rade zrejme slúžia ako bočný výsledok iných zámerov alebo iba na uspokojenie ega vývojárov, že zvládli nejakú inú aplikáciu ako je vytváranie bežných webových prezentácií na zákazku. Skriptov, ktore odbremeňujú nutnosť vyvíjať parsery XML kódu sú voľne dostupné a viac alebo menej postačí teda to ošatiť nejakým vzhľadom a ponechať stroj aby obehával zaevidovené zdroje. Čitateľ tak dostáva akési statické spravodajstvo bez veľkých možností ovplyvniť jeho obsah či zaraďovanie.
Tieto webové agregátory, aspoň tie naše, na aktualizáciu obsahu používajú zrejme najjednoduchšie riešenie: obehnem raz za pevne stanovenú dobu všetky zaevidované zdroje.
Práve v tomto je faktor, ktorý môže radikálne ovplyvňovať výkon strojov svojich obetí.
Rád by som zacielil nie na kampaň za zrušenie týchto webstránok. Pokiaľ má ich autor pocit, že kona dobro ľudstvu, nemožno mu ho upierať (ten pocit, nie fakt, či ide alebo nie o konanie dobra).
Určite by som však zvážil predvídavú optimalizáciu aktualizácie a to v týchto bodoch:

• nenačítavať periodicky každý zaevidovaný stroj,
• pre katalógové funkcie obmedziť prihlasovanie zdrojov výhradne na konto svojich používateľov a to vrátane prvotnej kontroly zadaných údajov (syntaktická kontrola, dodatočné overenie e-mailom, veľkosť súbora so zdrojom, počet záznamov v zdroji a pod.),
• dôležité je kontrolovať zmeny v obsahu zdrojov; pokiaľ pri druhom načítaní obsahu zdroja nedošlo k zmene (je rovnaký ako pri poslednom načítaní), automaticky predĺžim dobu, po ktorej bude zdroj znova overený; čiže pokiaľ sa zdroj nezmenil, najbližšie ho skontrolujem o 24 hodin, ak ani potom sa nezmení, tak až o 7 dní. Pokiaľ sa nezmení napr. tri mesiace, deaktivujem ho a používateľa, ktorý tento zdroj zaevidoval pri jeho prihlásení upozorním, aby si ho znovu „aktivoval“. Pokiaľ to používateľ neurobí, tak záznam o zdroji z databázy vymažem úplne,
• pokiaľ je doba načítavania obsahu zdroja výrazne dlhšia, súbor so zdrojom sa náhle zväčší alebo „zmizne“ okamžite tento problém riešim podobnými mechanizmami ako v predošlom bode,
• nezaraďujem ako „nové články“ z jedného zdroja vo väčšom množstve ako pár najnovších kusov najmä z dôvodu možného tapetovania (to sa vyskytuje napríklad na weblogy.sk), v takých prípadoch opäť riešim aj optimalizované zobrazenie v štýle: zobrazím iba jeden článok (nadpis, perex) a pokiaľ bolo v jednom dni článkov viac, pod neho vložím odkaz „Ďalšie články z tohto zdroja“,
• pokiaľ spätne syndikujem hromadné RSS, podobným spôsobom optimalizujem jeho obsah a miesto tupého zaraďovanie „čo príde, to tam ide“ riešim čo najväčšie zníženie počtu prírastkov „zoskupovaním“ – v hromadnom RSS nemá čo robiť desať odkazov na 1 web z 20 možných pri počte zdrojov niekoľko sto pre celú databázu, nakoniec je takto optimalizované RSS omnoho príjemnejšie ako terajší spôsob.

Pokiaľ tieto body nie sú v algoritmoch systému, potom je ich existencia skôr príťažou. Ich nálet na RSS zdroje jedného hostingu, ktorý poskytuje tisíce RSS zdrojov môže mať naozaj nepredvídateľné následky. Treba naozaj zvážiť, či uspokojenie ega developerov „pozrite, urobili sme takýto systém“ je vyvážená skutočným úžitkom.

• žiadna desktopová čítačka nebude tak agresívna ako webový agregátor pretože čítačka nebeží 24/7 ale webový cron žije a načítava neustále. Preto musíme svojim načítavacím systémom prikázať nech žijú podľa dennej doby a toho ako sa v tej ktorej dobe „publikuje“.

Dovolím si pripomenúť, že katalógových systémov je pomerne hodne a každý ďalší iba znepríjemňuje situáciu, či je dobrý, lepší, horší, majiteľom RSS zdrojov. Okrem tapetárov a pochybné zdroje, ktoré link v novom katalógu uvítajú za každých okolností.