DIMES Output-Erhöhung durch VMs

[declis]

Hi@

Auf Anfrage von "DersaureFritz" möchte ich hier einmal kurz erklären wie man seine Punkte bzw. "Measurements" am Tag erhöhen kann.
Wer von diesem Projekt noch nichts gehört hat, hier ein paar Links:

http://www.netdimes.org
http://www.rechenkraft.net/wiki/index.php?title=DIMES
http://www.chrisharrison.net/projects/I ... index.html

Die folgende Anleitung kann auch im XtremeSystems Forum nachgelesen werden (http://www.xtremesystems.org/forums/sho ... hp?t=80235), ich schreibe hier nochmal eine
eigene Version mit Screenshots und ein paar kleinen Tipps.

Man kann pro Rechner einen DIMES-Client laufen lassen. Das bringt innerhalb von 24h etwa 3-4k Punkte.
Durch virtuelle Maschinen kann man die Punkte erhöhen. Ich möchte hier zeigen wie man mehrere VMs auf einen Rechner installiert. So kann man zB 20-100 (oder noch mehr)
VMs laufen lassen. In jeder VM läuft ein DIMES-Client. Natürlich kann man dies auf mehrere Rechner verteilen. Hier sind einmal die Top-User ( "Measurements" am Tag):

http://stats.free-dc.org/stats.php?page ... sort=today


Benötigt wird die Virtualisierungs-Software "VMware Workstation" (30-Tage Testzeit, für Desktop-Rechner gedacht). Von VMware gibt es auch eine Server-Variante
-> "VMware Server" (kostenlos). Ich arbeite mit der Workstation in dieser Anleitung.

Außderdem wird ein Betriebssystem benötigt. Ich arbeite mit einer extrem kleinen XP-Version (mit nLite bearbeitet), nimmt ~600mb Festplattenspeicher in Anspruch.
Windows 2000 kann auch ohne Probleme installiert werden. Andere Windows-Version bzw. Linux hab ich noch nicht getestet. Linux-Anleitung (DamnSmallLinux)
findet sich im XtremeSystems Forum. Mit einer abgespeckten XP-Version habe ich, in Sachen Bootzeit, die besten Erfahrungen bis jetzt gemacht.


Die VMware Workstation Installation sollte selbsterklärend sein.




Die Workstation Oberfläche:





Wir klicken auf "New Virtual Machine":















Mit der RAM-Größe kann rumgetestet werden, ich habe 64MB eingestellt:
















Je nachdem wie viele VMs und wie viel Festplattenspeicher zur verfügung stehen, sollte "Allocate all disk space now" ausgewählt werden.









Nun wird die Festplatte erstellt. Danach sollte die Installation starten. Normalerweise nimmt VMware die Windows-Installation komplett automatisch vor (Easy Install).





Die VMware Tools werden installiert, diese beinhalten Treiber für das System:





Ein paar Screens von dem Task Manager:






Das "Vmware Tools"-Icon kann noch entfernt werden, die restlichen Einstellungen können so belassen werden:





Die erste virtuelle Maschine ist am laufen. Java und DIMES kann installiert werden.
Wie man DIMES installiert sollte eigentlich kein Problem darstellen, der Client sollte später als Service laufen.

Ist alles installiert wird die VM erstmal ausgeschaltet und wir wechseln in die Einstellungen der VM. Hier können CD-ROM/USB/Sound usw. entfernt werden:









Die Workstation bietet eine "VM-Team"-Funktion an. Hier können mehrere VMs zu einem großen Team zusammengefasst werden, später mehr dazu.


Der nächste Schritt beinhaltet das "Klonen" von einer VM. Dies kann man direkt über die Workstation-Oberfläche machen oder per Batch-Datei.
Wir erstellen im Ordner

Code: Alles auswählen

C:\Program Files (x86)\VMware\VMware Workstation

eine .bat-Datei mit beliebigen Namen. Zum Beispiel: "clone.bat"





Der Inhalt der Datei sieht folgendermaßen aus:





Hier nutzen wir den sehr nützlichen "vmrun command":

Code: Alles auswählen

vmrun clone "E:\VMware\dimesvm00\dimesvm00.vmx" "E:\VMware\dimesvm01\dimesvm01.vmx" full

Mit diesem Befehl wird eine komplette Kopie von der VM erstellt. Hier kann noch zwischen "full" und "linked" gewählt werden. "Linked" würde bewirken, dass die Kopie von der Original-VM abhängig ist, ohne Original-VM läuft der Klon nicht. Dafür wird aber kaum Speicherplatz benötigt.
Die "clone.bat" kann nur gestartet werden. Der Vorgang kann etwas dauern.


Jetzt kann in der Workstation ein Team erstellt werden (natürlich auch schon vorher). Dazu wählen wir "New Team":







In diesem Fenster können nun alle VMs hinzugefügt werden: "Add" -> "Existing Virtual Machine...". Ob es hier für auch einen automatisierten Vorgang gibt kann ich nicht genau sagen (50 Vms auswählen ist eine tolle Party).











Jetzt sollte noch eine Startverzögerung zwischen den Systemen eingestellt werden. Ein guter Wert ist etwa 60-75 Sekunden. Somit kann verhindert werden, dass die VMs gleichzeitig gestartet werden (die komplette Team-Startzeit kann dadurch gesenkt werden, anbesten durchtesten).







Der größte Teil ist nun beendet!


Das Team kann über die Workstation gestartet werden oder per vmrun-Command:
Es wird wieder eine Batch Datei erstellt mit folgendem Inhalt:

Code: Alles auswählen

vmrun start "E:\VMware\DIMESTEAM01\DIMESTEAM01.vmtm" nogui

Per "nogui" kann man die VMs komplett im Hintergrund starten lassen (ansonsten würd sich die Workstation Oberfläche öffnen und man kann den Bootvorgang der VMs beobachten).
Wenn das Team startet, sollten anbesten keine anderen Programm mit gestartet werden. Das Hostsystem ist in dieser Zeit extrem langsam.


Paar kleine Infos noch:


Ich betreibe die 50 VMs auf einem AMD Quad 9750 mit 8GB RAM (win XP 64bit). (Mehr als 50 VMs sind nicht drin, irgendwann gibt VMware eine Fehlermeldung aus):

Speicherplatz VMs: ~36GB
RAM-Verbrauch: ~5GB


Habe noch 20 weitere VMs am laufen:

AMD 4850e mit 4GB RAM und 20 VMs (win XP 64bit) (24/7)


Hatte noch einen 3. Rechner mit 20 VMs, also insgesamt 90 VMs. Damit war ich eine Zeitlang unter den Top-5 Usern am Tag. Die Bandbreite wird übringens kaum beansprucht, hatte mit 90 laufenden VMs einen Upload von ~10kb/s.

Ein Dual/Quad-Core kann durchaus im Cool'n'Quiet Status mit laufenden VMs bleiben.
Wer gute Tipps hat, wie man diesen beschriebenen Vorgang verbessern kann... immer her damit. Bin kein VM-Profi.



mfg, declis

[DersaureFritz]

Tolle Anleitung.Aber da lasse ich lieber die Finger von.Glaube nicht,das ich so Dimes jemals zum laufen bringe!

[L3v3l0rd]

Ich hab jetzt per Virtualbox ein XP (allerdings normale Version)virtuell "mitlaufen" und Dimes installiert.
Die Virtualisierung knappst sich so 1-2% CPU ab, dafür ist RKN jetzt von Platz 15 auf 14 gestiegen, hehe .
Ich habs auch unter Ubuntu 9.10 32 Bit versucht, bekomme Dimes hierauf aber nicht zum laufen. Irgendwas fehlt oder so.(Habe das Deb-Paket von der Dimes-Seite probiert) Interessant wirds vielleicht mit Damnsmalllinux, da das ja wirklich nur minimalste Anforderungen stellt.
Diese nLite-XPs sind wohl schon nicht schlecht, tippe aber mal das die Lizensierungsproblematik...problematisch ist?
Auf jeden Fall Danke für dieses wirklich sehr gut geschriebene How-To!

Gruß, L3v3l

[mxplm]

Wie sieht es eigentlich bei deinen 90 VMs aus, haste da Windows Lizenzen für? :-P

Mich würde eine Umsetzung deiner VM-Lösung mittels (D.S.)Linux auch interessieren, da man hier meiner Meinung nach noch weiter runter skalieren könnte. Am besten DSL ohne GUI. Weniger Ressourcenverbrauch -> mehr VMs -> mehr Punkte xD
Zudem entfällt die Lizenzfrage.

Eventuell könnte man mal VMWare und VirtualBox vergleichen, oder spricht etwas gegen VirtualBox?

[Txt.file]

An dem Linuxclient hab ich mir schonmal die Zähne ausgebissen. Paar Stunden fummeln und am Ende doch nichts. DIMES unter Linux.

Ansonsten würde ich unter Linux weder VBox noch VMware nehmen, sondern gleich KVM (wenn cpu UND motherboard/BIOS mitarbeiten). Da würde ich bei der Einrichtung auch helfen, soweit ich kann.

Aber dazu bräuchte man erstmal nen bessren Linux-client. Wäre zB schonmal ein großer Erfolg, wenn DIMES auch mit OpenJDK laufen würde.

[declis]

Hatte unter Linux (Ubuntu/Debian) auch nur Probleme mit dem alten Linux-Clienten. Ist leider zu viel Fummelei.
Wie Txt.file schon sagte, VMWare oder Virtualbox unter Linux ist nicht wirklich toll (nach meinen Erfahrungen). Eine VM in VirtualBox oder VMWare ist OK, aber sobald man ~20 VMs am laufen hat, wird das System extrem langsam (nach meinen Erfahrungen). Das booten der VMs hat auch extrem lange gedauert unter Ubuntu. Müsste man sich nochmal genauer mit beschäftigen (Stichpunkt -> "keine grafische Oberfläche", wäre natürlich eine super Sache!)

mfg, declis

[Txt.file]

Hab jetzt 2h an dieser DIMES-Linux-Sch**ß* gefummelt und dann sogar den client starten können. Leider hab ich nichts gefunden, um die preferences sinnvoll einstelen zu können und damit meinte ein DIMES, dass es läuft, aber was es macht hab ich nicht rausfinden können. Also stark gefrustet den Schrott wieder deinstalliert.

Ich bin ja echt mit gutem Willen rangegangen, aber der DIMES-client scheint einfach nur Schrott zu sein.
Txt.file ==

[EDIT] sry falls kleinkinder anwesend sind, aber die müssen die welt auch kennen lernen wie sie wirklich ist [/edit]

[declis]

Hab jetzt mal DSL in einer VM (mit VirtualBox) installiert. DIMES läuft, nur wird UDP und ICMP geblockt. Hab aber schon erste Punkte bekommen. Hat jemand einen Tipp? Hab DIMES mit Adminrechten gestartet.

Hier ein Bilder:

[Txt.file]

Wie hastn du das geschafft DIMES unter DSL zum laufen zu bekommen??

[declis]

Werde am WE ne kleine Anleitung hier posten

[declis]

hi@

1) Java installieren! Auf java.com "Linux (selbstextrahierende Datei)" runterladen.

Code: Alles auswählen

chmod +x jre-6u17-linux-i586.bin
sudo ./jre-6u17-linux-i586.bin

Als nächstes muss die JAVA_HOME Variable gesetzt werden. Ich habe es direkt am Anfang in ".bash_profile" geschrieben:

Code: Alles auswählen

nano .bash_profile
 export JAVA_HOME="/home/dsl/jre1.6.0_u17" (kann man auch direkt in agent.sh schreiben)

2) DIMES als tarball runterladen, entpacken und Agent starten:

Code: Alles auswählen

tar -xzvf Dimes_Agent_052_Linux.tar.gz
cd /DIMES/scripts_linux
chmod +x Makefile
sudo ./fix_permissions
sudo ./configure
sudo ./agent.sh

Nun sollte sich der Agent öffnen. Problem an der Sache: Der Client macht sogut wie keine Punkte, da ich folgende Meldung bekomme:

Code: Alles auswählen

INFO: Destination host didn't reply

Normalerweise sollte es als root funktionieren.. naja
Hab mich weiter damit noch nicht beschäftigt. Wer Tipps hat, immer her damit.

[Txt.file]

Ich hattes damals nur mit OpenJDK versucht und das Problem, dass ich keinen graphischen Client bekommen konnte und auf der Konsole konnt ich nirgendwo meine Daten sinnvoll eintragen.

Vielleicht setz ich mich diese Woche nochmal hin und teste es mit der JRE von Sun.