Optimierung von Majestic-12...

Projekte zum Check von Webseiten wie PeerReview, CapCal, Grub.
Nachricht
Autor
Benutzeravatar
Patrick Keller
Vereinsmitglied
Vereinsmitglied
Beiträge: 1202
Registriert: 25.03.2003 15:06
Wohnort: Mainz
Kontaktdaten:

Re: Optimierung von Majestic-12...

#25 Ungelesener Beitrag von Patrick Keller » 10.08.2009 12:27

Und der Upload läuft zumindest auch wieder ... Is auch gut so, ich muss ja noch 130MB hochladen :D

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 20599
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: Optimierung von Majestic-12...

#26 Ungelesener Beitrag von Michael H.W. Weber » 10.08.2009 13:04

Hmmm, von wegen.

Code: Alles auswählen

[10.08.2009 14:00:05] Bad response from superpeer (bytes sent: 201, bytes received: 74), error: System.Exception: Failed to load action from stream: System.Security.Cryptography.CryptographicException: Die Länge der zu entschlüsselnden Daten ist ungültig.
   bei System.Security.Cryptography.CryptoAPITransform.TransformFinalBlock(Byte[] inputBuffer, Int32 inputOffset, Int32 inputCount)
   bei System.Security.Cryptography.CryptoStream.FlushFinalBlock()
   bei Majestic12.Utils.DecryptData(String sPassword, MemoryStream oData)
   bei Majestic12.Action.LoadFromStream(MemoryStream oStream)
   bei Majestic12.Action.LoadFromStream(MemoryStream oStream)
   bei Majestic12.ActionManager.SendActionViaDirectConnect(Socket& oSocket, ActionRequest oAR, Boolean bPersist)
[10.08.2009 14:00:05] All 2 uploads retries failed, last server responsecode: BadResponse Error message: 
Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Patrick Keller
Vereinsmitglied
Vereinsmitglied
Beiträge: 1202
Registriert: 25.03.2003 15:06
Wohnort: Mainz
Kontaktdaten:

Re: Optimierung von Majestic-12...

#27 Ungelesener Beitrag von Patrick Keller » 10.08.2009 13:05

Bei mir fliegt auch ab und zu immer mal wieder der Upload raus ... Ich denke der Server ist momentan einfach am glühen und kommt nur schwer mit dem ganzen "Backlog" zurecht.
Neue Buckets kommen mittlerweile aber auch wieder rein.

Keller

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 20599
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: Optimierung von Majestic-12...

#28 Ungelesener Beitrag von Michael H.W. Weber » 10.08.2009 13:51

Keller hat geschrieben:Neue Buckets kommen mittlerweile aber auch wieder rein.
Bei mir leider nicht.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 20599
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: Optimierung von Majestic-12...

#29 Ungelesener Beitrag von Michael H.W. Weber » 10.08.2009 21:38

Kann das wohl sein, daß Majestic-12 unter Vista irgendwo außerhalb seines Verzeichnisses die Platte zumüllt? Dauernd meldet sich der Client, er habe zuwenig HD Speicher und müsse deshalb die Crawler runterfahren. Schaue ich dann den Plattenplatz an, hat dieser sich bis auf marginale 1,1 GB reduziert - von ganzen 5 GB!

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Jkcapi
Partikel-Strecker
Partikel-Strecker
Beiträge: 991
Registriert: 29.12.2001 01:00
Wohnort: Braunschweig
Kontaktdaten:

Re: Optimierung von Majestic-12...

#30 Ungelesener Beitrag von Jkcapi » 10.08.2009 22:39

Hallo Michael!
Hm, ausserhalb des Verzeichnisses eigentlich nicht, aber es sammelt sich durchaus eine kleine Datenmenge an. Das kommt darauf an wieviel Buckets grade in arbeit sind und vieviel davon "Nearly done" sind. Hast zb.15-20 Buckets die kurz vor fertigstellung sind "Nearly done" dann können da schon mal 2-3GB zusammenkommen. Werden die Buckests dann kompremiert reduziert sich die Datenmenge natürlich wieder usw....
Es gibt unter TOOL-OPTION_CRAWLER im Fensterchen GERNARAL die einstelung
"Ensure min free disc space" die steht normal auf 1000mb, wird dieser wert erreicht bzw unterschritten bekommst Du halt besagte Meldung! Wenn Du wirklich nur 5GB frei hast kann es schon mal eng werden wenn man mit 200 Crowlern arbeitet.
Da hilft nur noch etwas Festplattenspeicher freizubekommen, weitere 2gb sollten wohl reichen oder den Wert von 1000mb auf zb.100mb runterstellen!
Hast Du nur eine kleine Platte oder ist die so vollgepackt?
Mit Vista hat das aber nix zu tun!
Gruß Jürgen :D
Gruß Jürgen

Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 20599
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: Optimierung von Majestic-12...

#31 Ungelesener Beitrag von Michael H.W. Weber » 11.08.2009 06:27

Tja, genau das kann alles nicht sein. Die Platte ist ziemlich voll gepackt. Ich hatte ursprünglich ca. 2 GB Platz frei. Nachdem die erste Meldung kam und die Crawler den Betrieb einstellten, habe ich den freien Platz auf ca. 3 GB erhöht. Nach ca. 1 Tag war wieder nur 1,1 GB frei und erneut kam die Meldung. Ich also erneut 3 GB frei gegeben - hatte schon die Vermutung, ein Virus wäre aktiv. Seit gestern habe ich wieder das Plattenproblem. Es kann nur Majestic-12 sein. Es frißt meiner Platte quasi die Haare vom Kopf. Dabei ist im Majestic-12 Verzeichnis nie viel mehr als 2 GB an Daten (meist unter 1 GB) gespeichert. Ich habe 200 Crawler und 50 Buckets, wie oben schon beschrieben.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Xentar
Task-Killer
Task-Killer
Beiträge: 707
Registriert: 26.05.2002 14:19
Wohnort: Velbert
Kontaktdaten:

Re: Optimierung von Majestic-12...

#32 Ungelesener Beitrag von Xentar » 11.08.2009 18:57

Lässt du den MJ12 zufällig auf ner Platte laufen, wo diese Systemwiederherstellung von Windows aktiv ist?
Wenn ja, könnte ich mir vorstellen, dass Windows schön alles mitprotokolliert, und erst bei Bedarf aufräumt.
Intel i7-980X, 12 GB RAM, NVidia GTX 285, Windows 7 64 Bit, 24/7

Benutzeravatar
EdmundBlackadder
Task-Killer
Task-Killer
Beiträge: 784
Registriert: 20.02.2008 17:56
Wohnort: Prekariat
Kontaktdaten:

Re: Optimierung von Majestic-12...

#33 Ungelesener Beitrag von EdmundBlackadder » 14.08.2009 17:12

Michael H.W. Weber hat geschrieben:So Leude - heute werde ich euch bei Majestic-12 mal zeigen, was 'ne Harke ist. :evil2:
Michael.
Michael H.W. Weber hat geschrieben:...wollen es mal hoffen. Ich fahre nämlich gerade meinen Traffic-Rekord ein. Und schätze, spätestens am Wochenende könnte es nochmal das Doppelte, wenn nicht gar Dreifache hageln. :evil2:
Michael.
Komm schon! Du wirst Dich doch nicht von einem Hartz-IV-Empfänger überholen lassen! Wann zahlen die gleich wieder aus? :smoking:
Verschenke XP x64 und Vista Business 32/64 bit Lizenzen.
Ritschie hat geschrieben:Ich will ja nicht nur für Credits rechnen, sondern 'nen sinnvollen Beitrag leisten.

Benutzeravatar
EdmundBlackadder
Task-Killer
Task-Killer
Beiträge: 784
Registriert: 20.02.2008 17:56
Wohnort: Prekariat
Kontaktdaten:

Re: Optimierung von Majestic-12...

#34 Ungelesener Beitrag von EdmundBlackadder » 16.08.2009 12:54

Verschenke XP x64 und Vista Business 32/64 bit Lizenzen.
Ritschie hat geschrieben:Ich will ja nicht nur für Credits rechnen, sondern 'nen sinnvollen Beitrag leisten.

Andreas38871
CPU-Load-Pusher
CPU-Load-Pusher
Beiträge: 266
Registriert: 10.11.2003 17:04
Wohnort: Ilsenburg

Re: Optimierung von Majestic-12...

#35 Ungelesener Beitrag von Andreas38871 » 18.08.2009 15:36

So, ich hab meine Leitung auch ein wenig aufgebohrt, so dass ich am Tag auf ca. 50 GB :P Download komme. Nur tut sich ein Problem auf, der upload kommt nicht hinterher. Die Datei werden archiviert und im upload steht dann nur, dass er noch 80 mit einer Gesamtgröße von 190 MB abzusetzen hat :-? . Gibt es irgendwo eine Einstellung, dass die Dinger schneller übertragen werden? Am Rechner kann es eigentlich nicht liegen Quad-Core, 64-bit, 4 GB RAM....
Im Moment helfe ich mir damit aus, dass ich mich mal ne Zeitlang vor den Rechner setze und den upload manuell starte, das kann es aber auch irgendwie nicht sein.

Andreas
Bild Bild

Benutzeravatar
Jkcapi
Partikel-Strecker
Partikel-Strecker
Beiträge: 991
Registriert: 29.12.2001 01:00
Wohnort: Braunschweig
Kontaktdaten:

Re: Optimierung von Majestic-12...

#36 Ungelesener Beitrag von Jkcapi » 18.08.2009 16:29

Zur Zeit hängt der Upload etwas, weil Alexc irgendein Update macht!
Das ist aber erst seit ca. 2 Stunden so da können sich eigentlich keine 80 Buckets angesammelt haben. Sollte es im laufe des Abends nicht besser werden dann musst Du die anzahl Deiner Workers etwas reduzieren (ca.10-15 weniger einstellen).
Aber wie gesagt, im augenblick hängt der Upload etwas!

Gruß Jürgen

PS.Es gibt eine einstellung unter Crawler dort WAIT BETWEEN BARREL UPLOAD, steht normal auf 120sec. runterstellen auf 1!
Gruß Jürgen

Bild

Antworten

Zurück zu „Leistungstests von Webservern“