Optimierung von Majestic-12...

[Michael H.W. Weber]

...wie geht man da am Besten vor? Ich habe inzwischen einen 20 Mbit-Kabelmodemanschluß.

Michael.

[Velociraptor]

Buckets(WU's) rauf, Crawler rauf, Leitung rauf, Wenns nicht mehr weiter geht sprich wenn die Leitung nicht mehr weiter ausgelastet wird warum auch immer^^
dann den Folder kopieren und einen 2ten Client öffnen diese arbeiten aus dem Ordner heraus sprich man muss ihn nur kopieren und hat dann eben das doppelte an Bandbreitenauslastung weitere Infos sind im MJ12 forum zu finden oder einfach dort mal nachfragen

[Jkcapi]

20mbit Leitung ist ja echt was feines,hihi.
Also Open Buckets 50, Crawler 200 Downstream volle Pulle und Upstream 256!
Kommt natürlich auf den Rechner an, zb. ein 1,6ghz würde mit dem Archivieren nicht mehr hinterherkommen Dual oder Quad ist kein Problem, die sollten auch mit ner 32mbit Leitung von Kabel Deutschland keine probs haben.
Wenn Deine Leitung richtig gut geht dann solltest Du pro Tag auf ca 5,5Millonen URLs kommen, vieleicht sogar 6 millionen.
Viel Spass!
Gruß Jürgen

[Michael H.W. Weber]

...um dann das UnityMedia Kündigungschreiben (trotz Flatrate) einzusacken... Wat soll's - ich reiße mal die Leitung auf...

Michael.

[Jkcapi]

Also mit Arcor hatte ich bisher keine Probs!
3 Terrabyte pro Monat sollten ja wohl drin sein
Ich glaube das das Datenvolumen heutzutage kaum noch Thema ist, vor 2-3 Jahren sah das noch etwas anders aus

[Michael H.W. Weber]

...wollen es mal hoffen. Ich fahre nämlich gerade meinen Traffic-Rekord ein. Und schätze, spätestens am Wochenende könnte es nochmal das Doppelte, wenn nicht gar Dreifache hageln.

Michael.

[Michael H.W. Weber]

So Leude - heute werde ich euch bei Majestic-12 mal zeigen, was 'ne Harke ist.

Michael.

[Patrick Keller]

Ich kriege meine 16MBit leitung leider nie ausgereizt. Im Schnitt komme ich auf ca. 10MBit/s mehr ist wohl leider nicht drin
An Crawlern habe ich schon rumgebastelt, das beste Ergebnis konnte ich mit 200 Crawlern erzielen.
Gestern schien der Server allerdings auch ein paar Probleme gehabt zu haben, denn da hat sich bei mir ne ganze Menge Upload zurückgestaut, und ich kam nicht ansatzweise an meine verfügbare Uploadbandbreite ...

Gruß,
Patrick

[Michael H.W. Weber]

Ich habe herausgefunden, daß für mich in der Tat 200 "crawlers" bei 50 "open buckets" das Optimale zu sein scheint. Das Programm meldete gestern eine "URL starvation" und verwies auf eine Erhöhung der "open buckets" oder Reduktion der "crawlers". Fakt ist, daß diese Diagnose des Programms falsch war und die Meldung als eigentliche Ursache einen zu niedrigen freien HD Speicherplatz hatte. Man kann nämlich ruhig den Aufforderungen des Programs nachkommen, es tritt keine Besserung ein. Erst wenn man Speicherplatz feiräumt, geht es wieder ab. Das also mal im Auge behalten. Meine 20 MBit-Leitung kann ich auch nicht ausreizen. Egal wie hoch ich die Transferraten einstelle. Trotzdem wird mit den aktuellen Einstellungen ganz schön was abgegrast...

Michael

[Jkcapi]

Na es geht doch Mal schaun wie lange Ihr zwei das durchhaltet
In der Teamwertung liegen wir gesamt auf Platz 6, aber wir werden bald auf Platz 7 abrutschen. Team "Psimerion ry" liegt zwar noch ne schlappe Milliarde hinter uns aber refic mit seiner Tagesproduktion von rund 50 Millionen urls wird uns da wohl in ca.30 Tagen überholt haben
Gruß Jürgen

[Patrick Keller]

So Leude - heute werde ich euch bei Majestic-12 mal zeigen, was 'ne Harke ist.

Michael.

Bisher kommt da aber nicht viel mehr als heiße Luft von dir ...

[Velociraptor]

lauter poser hier da kann ich mich mit meinen 3 in ne ecke verstecken gehen ^^