BierdopjeV3 Alpha nu beschikbaar. Wil je helpen? Kijk dan hier
Forum > Developers > phpBierdopje (automated downloader)

phpBierdopje (automated downloader)
Pagina 1 van de 1
Auteur Bericht
Bericht bartlamboo

Geplaatst op vrijdag 08 april 2011 11:42

 Quote



Geregistreerd: zaterdag 23 januari 2010
Berichten: 5
Profiel Direct Message TV

Aangezien ik zelf geen grote fan van Python ben (stukje gebrek aan kennis) heb ik besloten zelf een sub downloader in PHP in elkaar te zetten.
Hou er rekening mee dat het een heel vroege beta is dus je vrijwel zeker nog problemen tegen zult komen.

Op dit moment is hij ingesteld om alle subtitles behalve de "unsure" varianten te downloaden waarbij "unsure" de episodes zijn waar hij op geen enkele manier (buiten het episode nummer) een link kan leggen met de subtitle.

https://sourceforge.net/projects/phpbierdopje/files/

M'n code heeft ook nog amper commentaar, maar is na wat configuratie wel al bruikbaar.

Eventuele opmerkingen, commentaar en verzoekfunctionaliteit hoor ik graag.

De configuratie hieronder spreekt lijkt me redelijk voor zich.

Code (php):
1
2
3
4
5
6
$config['series_dir']="/download/series/";
$config['apikey']="XXXXXXXXXXXXXXXXX";
$config['apiserver']="http://api.bierdopje.com/";
$config['apipath']=$config['apiserver'].$config['apikey']."/";
$config['sublanguages']="nl,en";
$config['extentions']=array('mkv','avi','vob','mp4','mpg','ogm','flv');


Toch een kleine uitleg bij de matching types hier beneden.
- exact: subtitle naam moet overeen komen met de bestandnaam
- group: groupname moet overeen komen (alles na de laatste - wordt gezien als groupname)
- percentage: het percentage woorden dat gelijk is tussen de subtitle naam en de bestandnaam (hierbij dient een minimum matching percentage opgegeven te worden)
- string: indien de komma gescheiden woorden in $config['match']['strings'] overeen komen zal de subtitle ook gematched worden

De matches krijgen priority op de volgorde waarin ze in $config['match']['types'] staan. In dit geval override een percentage match van 75% dus altijd een string match. Ook zal een subtitle van hetzelfde type met een nieuwere datum altijd gekozen worden.

Code (php):
1
2
3
4
5
6
7
8
9
10
11
12
13
$config['match']['types']="exact,group,percentage,string"; // ordered by priority
$config['match']['percentage_minumum']=75;
$config['match']['strings'][]="720p,web-dl";
$config['match']['strings'][]="720p,web-dl";
$config['match']['strings'][]="720p,bluray";
$config['match']['strings'][]="720p,hdtv";
$config['match']['strings'][]="hdtv,xvid";
$config['match']['strings'][]="dvdrip,xvid";

$config['mysql_host']="localhost";
$config['mysql_user']="root";
$config['mysql_pass']="";
$config['mysql_db']="subtitle";


Na het importered van de sql code kun je door show_enabled in mysql op 0 te zetten er voor zorgen dat de subtitles voor een bepaalde show niet binnen worden gehaald.

11-04-10 17:27 update naar versie 0.2 met support voor binnenhalen van secundaire ondertitel talen.

20-04-10 22:30 update naar versie 0.3 met logging support.

bartlamboo wijzigde dit bericht op 20-04-2011 om 20:31, totaal 10 keer bewerkt
Bericht l4m0r

Geplaatst op zaterdag 16 april 2011 09:36

 Quote



Geregistreerd: zaterdag 19 februari 2011
Berichten: 2
Profiel Direct Message TV

Ziet er aardig uit, heb alleen wat aanmerkingen.
Dit is voor mij zelf totaal onbruikbaar.. ik moet de max_execution_time van php dusdanig opschroeven dat het nut mij wat ontgaat, het is allemaal tergend langzaam.
Misschien handig om per seizoen van de show een page refresh te doen (zodat je ook nog iets van een status kan zien wat hij aan het doen is; verder is de status die je nu laat zien ontzettend onoverzichtelijk (geen enters ertussen, alles op 1 regel.
Krijg ook nog redelijk veel warnings; zou wel zo netjes zijn om dat nog allemaal weg te werken.

Om samen te vatten:

- meer status tijdens het uitvoeren
- niet alles proberen te doen in 1 run; met een grote library lukt dat eenvoudig niet.
- check op bestaande subs en ga die niet lopen checken!
- support voor epname.srt ipv epname.language.srt

Als je dat op de rit krijgt is het een vrij goed script van wat ik tot nu toe aan de resultaten zie.

l4m0r wijzigde dit bericht op 16-04-2011 om 09:38, totaal 1 keer bewerkt
Advertentie




Bericht bartlamboo

Geplaatst op maandag 18 april 2011 19:26

 Quote



Geregistreerd: zaterdag 23 januari 2010
Berichten: 5
Profiel Direct Message TV

Quote:
- meer status tijdens het uitvoeren

Ik zal wat debug levels toevoegen zodat iedereen zelf kan instellen wat ze willen zien. Aangezien ik het script via een cron job start is de output voor mij persoonlijk dus niet zo interessant.
Quote:
- niet alles proberen te doen in 1 run; met een grote library lukt dat eenvoudig niet.

Zal ik toevoegen in de volgende versie. Aangezien ik de job op een Core i5 start heb ik daar nog geen problemen mee gehad maar kan ik het me goed voorstellen als je het bijv. op een NAS probeert te draaien.
Quote:
- check op bestaande subs en ga die niet lopen checken!

Het script zou als alles klopt niet meer moeten checken voor subtitles die al bestaan. Als er alleen een secondary language subtitle staat wordt er wel nog gecontroleerd of er toevallig een primary bijgekomen is, maar dat is alles.
Quote:
- support voor epname.srt ipv epname.language.srt

Ik zal zorgen dat als er maar 1 language is ingevoerd, hij de subtitles zonder de landcode wegschrijft. Het wordt anders nogal lastig om bij te houden of een bepaalde subtitle in het Engels of Nederlands is weggeschreven.

Met een beetje geluk kan ik hier eind deze week naar kijken. Zit op het moment nogal druk met mijn eigenlijke werk dus kan er niet direct een blik op werpen.
Bericht l4m0r

Geplaatst op dinsdag 19 april 2011 12:01

 Quote



Geregistreerd: zaterdag 19 februari 2011
Berichten: 2
Profiel Direct Message TV

Quote:
Ik zal wat debug levels toevoegen zodat iedereen zelf kan instellen wat ze willen zien. Aangezien ik het script via een cron job start is de output voor mij persoonlijk dus niet zo interessant.


Bij userscripts is debugging altijd wel fijn, evenals commentaar in de code overigens; hoewel dat laatste in dit geval niet zo heel erg is ;)

Quote:
Zal ik toevoegen in de volgende versie. Aangezien ik de job op een Core i5 start heb ik daar nog geen problemen mee gehad maar kan ik het me goed voorstellen als je het bijv. op een NAS probeert te draaien.


Ik draai anders ook op een i5 maar wel met een library met 3500+ afleveringen, hence; niet alles in 1 keer willen doen / standaard scrapen uitzetten of iets dergelijks / aantal downloads limiteren aan de voorwaarden van de api etc.

Quote:
Het script zou als alles klopt niet meer moeten checken voor subtitles die al bestaan. Als er alleen een secondary language subtitle staat wordt er wel nog gecontroleerd of er toevallig een primary bijgekomen is, maar dat is alles.

Mooi mooi.

Quote:
Ik zal zorgen dat als er maar 1 language is ingevoerd, hij de subtitles zonder de landcode wegschrijft. Het wordt anders nogal lastig om bij te houden of een bepaalde subtitle in het Engels of Nederlands is weggeschreven.

Met een beetje geluk kan ik hier eind deze week naar kijken. Zit op het moment nogal druk met mijn eigenlijke werk dus kan er niet direct een blik op werpen.


Ach, als bestaande engelse subs dan niet vervangen worden door een nederlandse is ook niet zo erg lijkt me. Een beetje handwerk is niet erg, maar het wordt nu wel erg veel ;)

Maar verder zit het script wel vrij goed in elkaar moet ik zeggen, heb er heerlijk mee kunnen pielen en ga dat met een evt. volgende versie ook nog wel doen gok ik.


ps. er zit nog 1 naar dingetje in kwam ik achter; als je mysql database anders heet dan je opgeeft in je config.. loopt je script wel.

Als je dat vervolgens in een cronjob gooit gaat hij elke run de beruchte getShowByName uitvoeren.. en zoals ik al zei, met grote libaries is dat niet zo goed voor de levensduur van je apikey gok ik zomaar ;)
Bericht Senaxx

Geplaatst op woensdag 20 april 2011 13:44

 Quote



Geregistreerd: dinsdag 13 april 2010
Berichten: 61
Profiel Direct Message TV

Ondersteunt het script ook om het via een netwerkshare te doen? Ik heb namelijk mijn series op een netwerkshare staan (gemapt als N:\TV op me server, maar momenteel krijg ik het nog niet werkend.

Warning: sort() expects parameter 1 to be array, null given in C:\xampp\htdocs\subs\functions.php on line 107
0 subtitles downloaded to disk!
Warning: bcdiv() [function.bcdiv]: Division by zero in C:\xampp\htdocs\subs\index.php on line 119
Total time for 0 series and 0 episodes is 0.0023219585418701 which averages to per episode.
Bericht bartlamboo

Geplaatst op woensdag 20 april 2011 18:36

 Quote



Geregistreerd: zaterdag 23 januari 2010
Berichten: 5
Profiel Direct Message TV

Ik vermoed dat je $config['series_dir'] fout staat. Je zou eens forward slashes kunnen proberen of het aanspreken van je share direct. (dus niet je mountpoint)
Ik gebruik zelf alleen nfs4 op mijn netwerk dus Windows shares kan ik hier niet zo een twee drie testen.
Bericht bartlamboo

Geplaatst op woensdag 20 april 2011 20:30

 Quote



Geregistreerd: zaterdag 23 januari 2010
Berichten: 5
Profiel Direct Message TV

Ik heb zojuist een versie 0.3 geupload.

Versie 0.3 heeft een enorme lading logging erin zitten die in te stellen is tussen de volgende levels.
0 Geef alleen het overzicht weer.
1 Bovenstaand inclusief alle uitgevoerde acties.
2 Bovenstaand inclusief uitgevoerde sql acties.
3 Bovenstaand inclusief de verschillende matching uitkomsten.
Verder zijn er nog wat kleine andere dingen gefixed maar die zijn niet noemenswaardig.

Ook zou hij nou netjes af moeten breken als hij de tabel met shadow entries voor getShowByName niet kan openen.

bartlamboo wijzigde dit bericht op 20-04-2011 om 20:30, totaal 1 keer bewerkt

Je hebt geen rechten om een reactie te plaatsen of het topic is gesloten

Pagina 1 van de 1
Lichten uit!