Home

Geregistreerd: donderdag 22 november 2007 Berichten: 1400

Goed,

Nu maar eens duidelijkheid gaan scheppen hier, want ik krijg veel boze reacties

De volgende manieren om bierdopje aan te sturen zijn mogelijk:

1. HTML Pagina downloaden & parsen
Ik snap dat jullie hier niet blij van worden, maar voorkomen kan gewoonweg niet. Je kan gewoon jezelf voordoen als een browser d.m.v. de headers die je meestuurt.
2. AJAX functies gebruiken kleine stukjes data opvragen (denk aan users' favorites
Dit resulteert in kleine datapakketjes, en het is behoorlijk betrouwbaar, Waarom mag dit niet? Dit is ook lastig te beveiligen gezien JavaScript voornamelijk client-side is.
3. RSS (subs / forum)
Iedereen kan met een rss reader gewoon data lezen.
4. API
Zoals gezegd, deze komt eraan.. maar dan Read-only. Eerste versie zou geen user opties hebben? Leuk, maar toch nog net niet wat ik zoek; ik ga gewoon geduldig wachten

Al met al zou ik graag onderbouwende kritiek zien waarom er geen AJAX gebruikt mag worden.
Het HTML-parsen kan ik begrijpen, maar om nou een simpele ajax / thickbox aan te roepen.
Veel mensen gebruiken RSS, AJAX is eigenlijk bijna evenveel data, maar doet vrijwel hetzelfde?

Als iets niet mag zou ik graag een onderbouwende reden ervoor hebben. Ik kan me er gewoon domweg niet overheen zetten, alles moet een reden hebben in mijn ogen.

djredmar wijzigde dit bericht op 10-07-2009 om 16:18, totaal 3 keer bewerkt

"veel boze reacties" is ietwat overdreven

Zoals in onze regels staat is het "herplaatsen van content" (maar hieronder valt dus ook het manipuleren ervan) door third parties niet toegestaan.

HTML parsen is een pageview van een user, die eigenlijk geen user is maar een geautomatiseerd script. Dit levert "valse" hits op, wat onder andere een negatieve impact heeft op:

Requests: Volledige hit terwijl je alleen maar een klein stukje nodig had.
Bandbreedte: Zie requests
Onze advertisement partners

We hebben liever "echte" gebruikers dan (geautomatiseerde) scripts die informatie van onze site vissen.

RSS is op dit moment de enige manier om een bepaalde set informatie te krijgen. Natuurlijk is niet alles via RSS verkrijgbaar, en dit zal ook niet verkrijgbaar worden. Dingen als serie info zijn niet echt in RSS om te zetten bijvoorbeeld.

De API zal met versie 2.3 beschikbaar komen voor iedereen die deze wil gebruiken. Een gevalletje van een API key aanvragen, je programma/script instellen en gaan.

Zoals bekend zal de eerste versie van de api een "read only api" zijn waarmee voornamelijk informatie over series, afleveringen en de belangrijke dingen die hier aan verbonden zijn opgehaald kan worden.

In een later stadium - kan helaas nog niet zeggen wanneer - zullen we ook een "write" kant beschikbaar maken. Deze "write kant" bevat ook een optie om user zaken op afstand aan te passen. Hierbij valt te denken aan series in de favorieten te stoppen of afleveringen als gezien markeren.

Dit gebeurt enkel met toestemming van de user op wiens account dit zal worden uitgevoerd. Deze moet dus (eenmalig) toestemming geven dat applicatie X van programmeur/user X zijn gegevens mag inzien/wijzigen*.

Omdat dit een vrij complexe ingreep zal zijn, gaat hier natuurlijk ook de nodige tijd in zitten. Er moet onderzoek gedaan worden naar mogelijke authenticatiemethoden en deze moeten aangepast worden naar ons eigen systeem.

Verder mag de rest van het development ook niet stil komen te liggen. Er moeten ongetwijfeld bugfixes of (kleine) functies gemaakt worden. Dit gaat vanzelfsprekend voor, aangezien dit een hogere prioriteit heeft dan dit.

Er is namelijk - nu - maar een handje vol gebruikers wat gebruik wil maken van een API. Of je maakt iets waar duizenden iets aan hebben, of waar een handje vol wat aan heeft.

Daarnaast willen we ook even aankijken hoe de read only api zich houd, voordat we verder kunnen gaan met het vervolg erop.

De AJAX functies zijn gemaakt om een aantal specifieke functies uit te voeren en zijn uitsluitend bedoeld om gebruikt te worden in een browser. Ja, het is handig als je die functie ook elders kunt gebruiken maar dat is gewoonweg niet waar het voor bedoeld is.

Laat ik voorop stellen dat we zelf ook wel blij zijn met integratie met diverse applicaties, zoals Mediacenter software. Maar dat moet dus niet ten koste gaan van de gebruikers, performance en de advertentie inkomsten.

Deze dekken immers een deel van onze server-, steeds stijgende electriciteit- en bandbreedtekosten. Als je programma zijn data ophaalt via een weg - anders dan we hebben goedgekeurd - kost dit ons op elk vlak (snelheid, beschikbaarheid, inkomsten) gewoon veel meer dan het teruggeeft.

Bottom line: Externe toegang tot onze data en functies mag, maar dan alleen via de de ons speciaal aangeboden faciliteiten voor deze doeleinden. Javascript en HTML valt hier dus niet onder, de API dus wel.

Hopelijk maakt dit het een en ander duidelijk omtrent ons standpunt hiervan.

Overigens heb ik ook nog wel de nodige mogelijkheden om onze Javascript functies te beveiligen, ook al is het clientside, maar ik heb geen zin deze toe te passen.

Sypher wijzigde dit bericht op 10-07-2009 om 17:05, totaal 3 keer bewerkt

Geregistreerd: donderdag 22 november 2007 Berichten: 1400

Allereerst ben ik heel erg blij met de toelichting.

Voor wat betreft de advertentie inkomsten, hier kan ik mij echt volledig in vinden.
En inderdaad, eerst maar eens zien wie die API gaan gebruiken voordat je er veel tijd in steekt.

Toch blijf ik het ajax (lees: setSeenShow() & getUserPRofiles() functies) erg aantrekkelijk vinden gezien ze niet in de API zitten) en tenslotte hebben jullie dit op internet gezet waardoor het vrij toegangelijk is

Tenslotte nog een suggestie... premium members, ik weet stiekem dat het al een vergader onderwerp is... Maar wil wel eens weten wat daar de mogelijkheden van zijn.

Stel ik besluit toch de Ajax functies te willen gebruiken (dat jullie ze legaal beschikaar maken in de API) tegen een vergoeding?

Ben je geen premium member, dan moet je maar roeien met de riemen die je hebt?

offtopic:
Ik zal proberen me aan de regels te houden, vaak lukt dat ook wel ..

Home

BierdopjeV3 Alpha nu beschikbaar. Wil je helpen? Kijk dan hier

Wat mag nu wel en niet betreffende data scraping?*