Downloaden met usenet

Bouweenpc 20 september 2008 0 Bron:
Wat zijn nieuwsgroepen op usenet?
Nieuwsgroepen bestaan al een flinke tijd. In eerste instantie werden ze gebruikt als een discussieplaats waar je simpele tekstberichten kon plaatsen en waren ze vergelijkbaar met de discussiefora zoals die op veel websites te vinden zijn. Na verloop van tijd kwamen mensen op het idee om niet alleen tekstberichten op nieuwsgroepen te zetten, maar ook data zoals muziek, programma’s en films. Deze werden dan gecodeerd als (voor mensen onleesbare) tekst, kregen de naam \’binaries\’ mee en werden op de nieuwsgroep geplaatst. Met de komst van breedbandinternet steeg het aantal usenet gebruikers explosief, omdat de downloadsnelheid slechts afhankelijk is van de bandbreedte van de internetverbinding en de usenetserver van de downloader. De meeste bekende binary-groepen herken je aan de volgende vorm: alt.binaries.* .


Zodra er iets geplaatst (=gepost) wordt in een bepaalde nieuwsgroep op een server, dan kopiëren andere servers dat bestand naar hun eigen nieuwsgroep met dezelfde naam en zo wordt er voor gezorgd dat op elke server hetzelfde bestand staat.
Om te kunnen downloaden van Usenet heb je om te beginnen een newsserver nodig. Er zit een groot verschil tussen verschillende newsservers, en die verschillen zitten hem in een aantal dingen.

Om te beginnen verschilt de retentie per server. Retentie geeft aan voor hoelang bestanden beschikbaar zijn op de server, en deze tijd wordt vaak uitgedrukt in dagen. Als een bestand en voor die tijd opgestaan heeft, dan brokkelt de informatie van de bestanden als het ware langzaam weg waardoor er weer ruimte vrijkomt. Dit voorkomt dat de servers binnen de kortste keren vol raken.

Wat ook verschilt is het aantal threads dat je tegelijk kunt downloaden. Dat wil zeggen hoeveel connecties je met jouw newsserver kunt maken op eenzelfde moment. In de meeste gevallen neemt je downloadsnelheid niet toe met meer threads omdat je, als het goed is, al de maximale bandbreedte gebruikt van jouw internetaansluiting. Hoe meer connecties je hebt, hoe stabieler je download wordt en dus hoe kleiner de kans op foute pakketjes wordt. Ook zou je bijvoorbeeld een betaald abonnement kunnen delen met je buurjongen en elk de helft van de beschikbare connecties kunnen gebruiken.

Het wil ook nog wel eens zo zijn dat niet elke server ook elke nieuwsgroep ondersteunt. De meeste servers ondersteunen wel de meest gangbare groepen, maar het kan zo zijn dat een groep niet gevonden wordt op jouw server. In dat geval kun je het gewenste bestand ook niet downloaden en zul je moeten zoeken naar een server die je nieuwsgroep wel ondersteunt.

Waar vind ik newsservers?
De meeste internetproviders hebben hun eigen server die je gratis kunt gebruiken. Voor het gemak hebben we hieronder een overzicht geplaatst van de beste newsserver per provider.


Het kan zo zijn dat jouw provider geen newsserver aanbiedt. In dat geval kun je een abonnement nemen op een zogenaamde payserver. Zoals de naam al doet vermoeden moet je voor een payserver betalen. Het voordeel van een payserver is dat hij vaak vaak velen malen beter is dan een server van je eigen provider. Denk hierbij aan een snellere verbinding, meer complete bestanden, meer ondersteunde nieuwsgroepen en een langere retentie. Een aantal bekende payservers zijn Giganews, Eweka, NewsXS en Usenet4U.

Newsreaders
We weten nu waar we de data vandaan kunnen halen. Nu is het zaak dat we die data ook daadwerkelijk binnen kunnen halen, daar hebben we een newsreader voor nodig. Een newsreader is een programma dat verbinding maakt met de newsserver en daarvan de bestanden kan downloaden. Er zijn tegenwoordig een groot aantal programma’s beschikbaar. In deze tutorial zullen we gebruik gaan maken van het programma GrabIt. Het is een gratis programma en het is ontzettend gemakkelijk in het gebruik. Het kan bestanden automatisch voor je repareren en uitpakken, GrabIt is daarom ook ideaal voor beginners. Het nadeel van GrabIt is dat hij niet zo goed om kan gaan met meerdere newsservers. Als een bestand niet op de ene server staat, dan zal hij niet gaan kijken of deze op een tweede server (als je daar ook toegang toe hebt) wel staat Voor gevorderde gebruikers is dit een groot gemis, voor diegene die nog niet in usenet thuis zijn is dit geen groot probleem.


Als je een uitgebreider programma wilt gebruiken, kun je kiezen voor SABnzbdPlus. Ook dit programma is geheel gratis en het is open-source. Je bedient dit programma vanuit je webbrowser, zoals Internet Explorer of Firefox. Een aantal andere bekende newsreaders zijn bijvoorbeeld Alt.Binz, waarbij de oudere versies gratis zijn maar voor de nieuwere versies is een donatie nodig, en NewsLeecher, waarvoor betaald moet worden. Zowel SABnzbdPlus, Alt.Binz als NewsLeecher kunnen bestanden automatisch uitpakken en repareren.
Nu we de basis weten van Usenet, wordt het tijd om aan de slag te gaan. Zoals je al eerder kon lezen in dit artikel gaan we gebruik maken van het gratis programma GrabIt. Klik =http://www.shemes.comhier[/url] om naar de homepage van het programma te gaan. Download daar GrabIt. Op het moment van schrijven is versie 1.7.2 Beta 3 de meest recente versie.


De installatie van GrabIt is een kwestie van op ‘next’ klikken. Het programma vraagt netjes of je desktop icon’s en quick launch icon’s wilt aanmaken en of je NZB- en BNS-files wilt associëren met GrabIt. Het is aan te raden om de laatste twee opties gewoon aangevinkt te laten. De installatie spreekt verder voor zich.


Vervolgens starten we GrabIt op, nu verschijnt de Configuration Wizard. Hier vul je de newsserver in die bij jouw provider of payserver hoort. Voor servers van internet providers is vaak geen username en password nodig. Bij een payserver is dit vaak wel het geval en die krijg je als je je aanmeldt. Als je beschikt over een payserver dan vink je het vierkantje aan wat voor ‘News (NNTP) server requires a username and password’ staat. Druk vervolgens op ‘Next’.


Er verschijnt nu een scherm dat vraagt of je een lijst wilt ontvangen van de beschikbare nieuwsgroepen. Dit is essentieel om in een later stadium te kunnen downloaden. Het is hier dus zaak om te zorgen dat het vierkantje aangevinkt staat, wat standaard het geval is. Klik hierna op ‘Finish’. Mocht het zo zijn dat je hem per ongeluk uitvinkt dan is dat geen ramp. Later in deze tutorial lees je hoe je alsnog de lijst met nieuwsgroepen kunt binnenhalen.

Tot slot vraagt GrabIt of hij automatisch alle bestanden moet repareren en uitpakken. Het is aan te raden hier op ‘Ja’ te drukken. Ook dit is later nog gewoon aan te passen.


Als de installatie goed is doorlopen, kom je in het bovenstaande scherm terecht. Je hebt wellicht al gemerkt dat hij gelijk begint met het downloaden van een aantal bestanden. Hij downloadt namelijk de grouplist. De grouplist is een lijst van de nieuwsgroepen die jouw newsserver ondersteunt. Zodra GrabIt klaar is met het downloaden van de lijst, vraagt hij of je de lijst wilt zien. Je kunt hier gewoon op ‘Nee’ klikken, want het is verder niet van belang. Je kunt de lijst later simpelweg bekijken door op het tabje ‘All Groups (servernaam)’ te drukken bovenin het downloadscherm.


Nadat we GrabIt geïnstalleerd hebben, is het zaak om even te kijken of de instellingen staan zoals we willen. Het meeste kun je allemaal standaard houden, maar het is wel zo prettig even te weten waar de bestanden terecht komen die we gedownload hebben. Klik hiervoor boven in het scherm op ‘Edit’, ga dan naar ‘Preferences’ en vervolgens naar het tabje ‘Folders’.


Hier kun je bepalen waar GrabIt zijn tijdelijke bestanden kan opslaan (Cache) en waar de bestanden moeten komen die jij gedownload hebt (Download). Onderaan kun je aanvinken of je voor elke nieuwsgroep een aparte map wilt hebben. Als je dit aanvinkt, wordt de path waarin je een bepaald bestand download bijvoorbeeld:
C:\\Usenet Downloads\\Download\\alt.binaries.naam\\bestandnaam
Als je deze optie uitvinkt krijg je simpelweg:
C:\\Usenet Downloads\\Download\\bestandnaam


Vlak na de installatie vroeg GrabIt al of hij automatisch de bestanden voor je moest repareren en uitpakken. In de tab \’Repair and extract\’ kun je deze opties nogmaals bekijken en zonodig bewerken. Zo kun je ervoor kiezen om de bestanden wel automatisch te laten repareren, maar het uitpakken niet standaard uit te laten voeren om vrije schijfruimte te houden. Het hangt dus van je voorkeuren en je configuratie af wat je hier wel en niet aanvinkt.

Tot slot kun je ook nog instellen na hoeveel downloads GrabIt moet gaan repareren. Standaard gaat het programma om de 10 downloads repareren. Ook dit hangt af van je persoonlijke voorkeur.

Nieuwe servers toevoegen
Het kan zo zijn dat je meerdere servers wilt toevoegen aan GrabIt. Zo niet, dan kun je deze stap overslaan. Een nieuwe server toevoegen doe je door met je rechtermuisknop te drukken op ‘My Grabit’, wat boven de lijst met servers staat.

Je krijgt nu het scherm ‘Server properties’ te zien. Bij ‘Profile Name’ kun je een naam invullen voor de server die je later te zien krijgt in de linkerbalk van GrabIt. Daaronder, bij ‘Hostname’ vul je het adres van de server in. De poort kun je gewoon op 119 laten staan, tenzij er bij de server duidelijk vermeld staat dat deze veranderd moet worden. Daaronder vind je de invulregels voor een eventuele account name en een password. Alles wat daaronder staat kun je op de defaults laten staan. De enige optie waar je nog naar moet kijken is ‘Maximum Allowed Connections’. Zoals in het begin van dit artikel beschreven, verschilt dit aantal per newsserver. De meeste servers van internetproviders kunnen maximaal 3 connecties tegelijk aan. Bij payservers daarentegen kun je soms tot 20 connecties tegelijk gebruiken. Als je de instellingen ingevoerd hebt dan druk je op ‘Ok’ en nu verschijnt de server in de linkerbalk onder ‘My Grabit’.

Zodra je een nieuwe server hebt toegevoegd, is het zaak om GrabIt te vertellen welke nieuwsgroepen er allemaal beschikbaar zijn. In de configuration wizard die je tijdens het installatieproces te zien kreeg, wordt dit aan je gevraagd. Gelukkig kun je het achteraf ook nog handmatig instellen. Klik op de server waarvan je de grouplist wilt krijgen of verversen en klik vervolgens op ‘Refresh Grouplist\’. GrabIt zal nu de lijst gaan downloaden. Zodra hij klaar is vraagt hij weer of je de lijst wilt zien. Je kunt weer gewoon op ‘Nee’ klikken.
We zijn nu helemaal klaar om te beginnen met het downloaden van data van nieuwsgroepen. Maar waar moet je beginnen? Er zijn drie manieren om aan downloads te komen.

- Je kunt jezelf aanmelden bij een community zoals FTN. FTN is een gezellige community waarvoor mensen bepaalde dingen posten. Zo kun je bestanden met elkaar delen. Natuurlijk zijn er nog veel meer community’s te vinden op het internet.

- De tweede manier om aan downloads te komen is door ze te zoeken via bepaalde zoekmachines. Voorbeelden hiervan zijn Binsearch.info en Newzleech.com . Door een zoekwoord, of zoekwoorden, in te vullen kun je kijken of iets nog op een server staat. Je kunt ook invullen tot hoe lang geleden hij gaat zoeken. Dit hangt af van de retentie van je newsserver.

- De derde en wellicht meest gebruikte manier is die waarbij je FTD gebruikt. FTD is een gratis te downloaden programma waarmee je nieuwsgroepen en nieuwe posts kunt volgen. Het handige hiervan is dat je via de ingebouwde zoekmachine in enkele seconden de juiste download hebt gevonden. Ook kun je hier discussiëren over de downloads en sorteren op hetgeen wat je zoekt. Het enige probleem dat je hebt, is dat hier zeer veel materiaal te vinden is dat je bestanden alleen mag downloaden als je deze ook legaal bezit, let hier dus zorgvuldig op!


Als voorbeeld gaan we de nieuwe (gratis) single van Coldplay downloaden. Het wijst zich allemaal vanzelf. Je vult een goede zoekterm in en er verschijnt een hele lijst met resultaten. Onder ‘Subject’ vind je de titel van de post, onder ‘Poster’ vind je de naam van de poster, onder de kolom ‘Group’ vind je in welke nieuwsgroep de post zich bevindt en tot slot vind je onder ‘Age’ hoeveel dagen of uren geleden de post geplaatst is.

Wat verder opvalt is dat er onder sommige posts ‘Collection’ of ‘view NFO’ staat. Een collection wil zeggen dat er meerdere bestanden zijn geplaatst die allemaal bij elkaar horen. Door op ‘Collection’ te drukken zie je welke bestanden er in die collectie zitten.
Met de link ‘view NFO’ kun je het .nfo bestand zien. NFO-bestanden zijn tekstbestanden die vaak worden meegepost. Als je niet zeker weet wat er precies in een post zit, open je de NFO. Daarin vind je bijvoorbeeld informatie over de bestanden of over een eventuele installatie.


Voorbeeld van een zoekopdracht, klikbaar voor groter

Om te beginnen met downloaden vink je het vierkantje aan voor het bestand, of voor de bestanden, die je wilt hebben. Daarna druk je op de ‘Create NZB’-knop die boven de resultaten staat. Je gaat nu een .nzb downloaden. Een NZB-bestand verteld GrabIt welk bestand jij wilt downloaden en waar deze op jouw newsserver te vinden is. Als het goed is kun je gewoon op ‘Openen met GrabIt’ drukken en hoef je het bestandje niet eerst op te slaan. GrabIt start dan automatisch en het onderstaande scherm verschijnt.

GrabIt ziet meteen dat er een NZB bestand geïmporteerd wordt. Laat dit ook zo staan bij \’1\’. Bij \’2\’ kun je kiezen welke server je wilt gebruiken voor het downloaden van dat bestand. Daaronder staat een vlak dat weergeeft welk(e) NZB bestand(en) jij wilt laten downloaden. Je kunt hier eventueel meer NZB bestanden toevoegen door op ‘Add’ te drukken. Als je klaar bent klik je op ‘Grab’.


GrabIt gaat het bestand nu downloaden. In je Batch-Scherm zie je nu een balkje waarin alle informatie staat over je download. Je vind er onder andere de statusbalk, de server waarmee je download, de naam van het bestand en de grootte. Onderaan zie je met hoeveel threads je tegelijk download en met welke snelheid. Ook vind je daar de grootte van alle te downloaden bestanden en de (geschatte) resterende tijd.

Zodra alles gedownload is, klik je bovenin GrabIt op het pictogram dat staat voor ‘Download Folder’. Hij gaat nu automatisch naar de download folder die je hebt ingesteld. Hier zie je, afhankelijk van je instellingen, mappen staan met de naam van de nieuwsgroep of de naam van de download. Daarin staat het bestand wat je gedownload hebt, in dit voorbeeld is dat de single van Coldplay.
Eerder in de tutorial hadden we het al over de retentie. Na een bepaalde tijd brokkelen de geplaatste bestanden af. Een bestand is dan niet meer compleet. Om er toch voor te zorgen dat je beschadigde bestanden kunt gebruiken worden er vaak Par-bestanden meegepost. PAR2-bestanden zijn reparatiebestanden. Hiermee kun je bestanden compleet maken als er stukjes missen of corrupt zijn. Het wil ook nog wel eens gebeuren dat de poster een post niet helemaal afmaakt. In dat geval bieden de PAR2-bestanden ook uitkomst.

In GrabIt hebben we ervoor gezorgd dat hij zelf de downloads gaat repareren met de PAR2-bestanden. Een extra applicatie is dus niet nodig. Als je zelf wilt bepalen wanneer er gerepareerd wordt dan kan het ook anders. Met een programma genaamd QuickPar kun je de bestanden openen en alsnog repareren. Associeer de PAR2-bestanden met het programma en je kunt door middel van een simpele dubbelklik op de .par files je download laten analyseren en repareren.

Tot slot
Je weet nu hoe je data via nieuwsgroepen van Usenet af kunt halen. Let wel op! Het zal je opvallen dat er op Usenet heel veel auteursrechtelijk beschermd materiaal staat. Het is volgens de wet niet toegestaan deze bestanden te verspreiden. Deze tutorial heeft niet als doel verspreiding van dit materiaal te bevorderen, maar probeert alleen de werking van nieuwsgroepen duidelijk te maken. De single van Coldplay is bewust als voorbeeld gekozen omdat deze gratis te downloaden is via onder andere de website van de band zelf. Bouweenpc.nl is dus ook op geen enkele wijze verantwoordelijk in het geval je in de problemen komt door het gebruik van Usenet. Verder willen we nog een dankwoordje schrijven richting ExPlanE, die dit artikel voor ons heeft geschreven.

Geef een reactie