Ergebnis 1 bis 13 von 13

Thema: Cluster

  1. #1
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    Cluster

    Hallo,

    ein wichtiges Anliegen, da ich bald meinen regulären PC durch einen "ODROID C2"-Einplatinencomputer ersetze (der einzige mit HDMI 2.0).

    Und zwar möchte ich mir ein Cluster aus vielen davon aufbauen, ein kleines Rechenzentrum also gewissermaßen. Jetzt such ich *sowohl*
    bestehende Lösungen als auch Tipps und Ansätze, um meine eigene Software speziell dafür zu schreiben.

    Mein Wunsch wäre v.a., dass ich eine Anzahl dieser Mini-PCs im Netzwerk so zusammen schließen kann, dass ich effektiv nur an "einem
    großen" (Linux-)System arbeiten würde. Bestenfalls also so, dass z.B. "/proc/meminfo" mir den aufsummierten RAM aller Geräte anzeigt,
    oder dass "/proc/cpuinfo" nicht nur 4/8 Kerne anzeigt, sondern die Multiplikation der einzelnen CPU-Cores je Gerät mit der Anzahl sämtlicher
    Geräte usw. ...

    Ich kenne bereits "distcc" für verteiltes Kompilieren, aber das würde mir nicht genügen. By the way, ich habe auch eine externe Soundkarte,
    die ich mit einem der Geräte (per USB) verbinden möchte. Auch das sollte genauso wie gewünscht aussehen, dass ich nur diese eine hier-
    zu brauche, um mit dem Zusammenschluss aller Geräte zu einem (Linux-)System .. und ebenso summierte Speicher der SD-Karten zu einer
    Art RAID(-0) hin.

    Büdde helft mir dabei; liebe Grüße; der Kuchen! :-)´

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  2. #2
    Registered User
    Registriert seit
    Jul 2003
    Beiträge
    241
    Renommee
    520

    Re: Cluster

    Du bist nicht der Erste, der auf die Idee kommt Einplatinen Rechner zu einem "Home-Cluster" zu verbinden (z.B. [0]). Die meisten fummeln das auch ganz passabel zusammen, allerdings kommt dann regelmäßig die Frage auf, was man denn mit der HW nun eigentlich genau anstellen möchte. Tatsächlich sind die Anwendungsgebiete eines solchen Clusters durch die langsamen Interconnects die sich mit Consumer HW implementieren lassen recht begrenzt und man sollte sich vorher überlegen, ob man denn wirklich einen Bedarf hat

    Falls ja, kann man dann ausgehend vom Anwendungsszenario entscheiden auf welchem Layer man die Transparencies (Location, Replication, Failure etc.) implementiert. Stichworte: Distributed (Operating) Systems, Network Operation Systems, Middleware.

    [0] https://resin.io/blog/what-would-you...ry-pi-cluster/
    thx 4 reading

  3. #3
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    Hi,

    danke für den Link! Lese ich morgen mal durch. Und ich weiß natürlich, dass da schon andere auf die Idee kamen. Auch auf meine andere, ältere: nämlich die Verbindung einer
    großen Anzahl von USB-Sticks zu einem RAID-Verbund, der bei RAID-0 bspw. sehr viel schneller laufen kann. Auch nett! Muss man nur darauf achten, wie die Ports angebunden
    sind, dass sich nicht sowieso alle die Bandbreite teilen. ...

    [...] durch die langsamen Interconnects [...]
    Du meinst die Verzögerungen der Netzwerk-Verbindung? Habe ja schon überlegt, einfach eine USB-Verbindung zu verwenden - aber mit lediglich USB 2.0 geht das nur schlecht. ...

    OffTopic:
    Interessant wäre hier aber - rein theoretisch, nur aus Interesse - welches eigentlich die Faktoren sind, die eine schnelle Übertragung verhinderten, wenn man gerne die GPIO bspw.
    nutzen möchte, um eine eigene, serielle Leitung zu verwenden? Also in der THEORIE: was limitiert reguläre, serielle Verbindungen überhaupt - oder: wie weit kann die reine Software-
    Seite einer seriellen Verbindung alles schneller machen (warum ist USB 3.0 so viel schneller als USB 2.0)?


    Kann man nicht evtl. einfach die (anscheinend sehr schnellen) HDMI-Ports für eigene, serielle Verbindungen einsetzen? Ich bräuchte da ja so etwas wie einen "RAW"-Zugriff - wobei
    mir (mehr/minder) bewusst ist, dass ich da evtl. einen eigenen BUS programmieren müsste - also AFAIK so weit gehen, dass ich irgendwie an die binären Signal-Zustände so heran
    komme, dass ich dann per Software regeln würde, wann/wie/.. diese Signale zu senden/empfangen wären - also die Organisation, wer gerade spricht etc.

    Wenn ich das aber mit den eigenen Kabeln weiter denke - sei's durch ganz einfache GPIO-Verbindungen ... wie könnte ich am besten eine überlagerte Codierung mit vielen Frequenzen
    hinbekommen? Da brauche ich sicher eine Art Taktgeber (geht die CPU als schnellste nicht einfach?) ... was evtl. auch eine Teil-Antwort auf meine o.g. (OT-)Frage ist? hm. ... Also GPIO
    jedenfalls sind in der Frequenz beschränkt. ...

    HDMI weniger - wie also kann ich einfach sagen, nehmen wir die einzelnen Leitungen des HDMI-Ports und verbinden sie dann wie weiter zu (min. erstmal) einem weiteren HDMI-Port, gar
    kreuzweise/überkreuzt oder regulär (warum sowas - also wie im LAN?)!?

    OffTopic:
    Habe übrigens ab morgen einen 3D-Drucker am Start, so dass ich mir ein Gehäuse für jede Platine basteln möchte, die wiederum einzelne Schubladen in einem größeren Gehäuse sein werden,
    die sich wiederum in noch größere Einordnung ließen etc. (ähnlich Hutschinen-Montage - nur eben eigene Formfaktoren. Ich geb' mir da also so richtig Mühe ...). (^_^)



    Grüßle; Kekse! :-)

    PS: *hrrhr

    OffTopic:
    Achja nochwas: mir wäre am liebsten, wenn ich einfach die Soundkarte nutzen könnte - um hier ...

    ... (a) einfach jedes Modul mit Soundkarte zu einem großen Ganzen zu verbinden (einfach nur elektrisch, dass sich die akustischen Signale überlagerten. Der Rest wäre eigene BUS-Implementations-Sache);
    ... (b) je Frequenz (mit gewissem Abstand dazwischen [== Bandbreite?]) eine gedachte/virtuelle, "serielle Verbindung" erhalten könnte. Und die ganzen Frequenzen dann überlagert - mit Modulation wie z.B. .. hm (TODO);

    Jedenfalls wäre das für mich der "schönste" Weg erstmal. Auch von der puren Theorie, also zum Lernen, wie ein BUS bestmöglich arbeitet oder ich signale möglichst "roh" (de-)modulieren kann etc.
    Gibt natürlich 'ne Menge möglicher Wege etc. ... bspw. evtl. auch, die QUER-Verbindung vieler Frequenzen zu nutzen, um da QUER Information hinein/heraus als Optimierung zu verwenden usw. ...
    Geändert von kuchen (In den letzten 2 Wochen um 00:58 Uhr)

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  4. #4
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    https://files.sameroom.io/k06NkKXJV0...+Cabling+6.JPG

    Ist das wirklich sinnvoll in der Form!?? hm.

    Der Text "Matrix" hat mich übrigens auf die Frage gebracht, ob eine RJ45-Matrix-Schaltung (https://de.wikipedia.org/wiki/Matrixschaltung) evtl. sinnvoll sein könnte?
    Zu einer Art eigenen BUS-Koordination, durch welche die LAN-Teilnehmer miteinander so evtl. effizient kommunizieren können - also ganz ohne Ethernet-"Overhead", allein
    aus dieser Form von "elektrischem Schalter"!??

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  5. #5
    Registered User
    Registriert seit
    Jun 2000
    Beiträge
    3.881
    Renommee
    701

    AW: Cluster

    Zitat Zitat von kuchen Beitrag anzeigen
    Mein Wunsch wäre v.a., dass ich eine Anzahl dieser Mini-PCs im Netzwerk so zusammen schließen kann, dass ich effektiv nur an "einem
    großen" (Linux-)System arbeiten würde.
    Gibt es irgendwas konkretes was du damit machen willst was nicht günstiger und effizienter mit x86 Hardware geht (z.B mit Intel NUCs).

    Den einzigen Vorteil einer physischen Cluster mit RPIs oder Odroids sehe, ist die Erfahung mit der Physischen Infrastruktur (Strom, Netzwerk, Latenzen gering halten u.s.w.). Auf Anwendungsebene kann man das schneller, billiger und einfacher testen indem man einfach n VMs hochzieht und miteinander verbindet.

    Die meisten RPI Cluster die ich kenne wurden nicht gemacht weil es die beste Lösung für ein Problem war, sondern einfach weil man es kann (was auch ein valider Grunde sein kann, jeder kann sein Geld ausgeben wofür er mag :-)).
    das kann man bestimmt auch in bash coden ...

  6. #6
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    Hallo DopeFish,

    ich entnehme deiner und euren Antworten, dass das Ganze sich nicht unbedingt lohnt.

    Die Sache ist die, dass ich gerne allein aus ästhetischen Gründen auf einen regulären PC komplett verzichten möchte (wo ich sowieso
    ausschließlich Linux am laufen habe, btw.) - ein schönes 2D-Cluster an Einplatinencomputern lässt sich nämlich sicherlich sehr hübsch
    an der Wand anbringen, bestenfalls direkt unterhalb meines 55"-Fernsehers.

    Weitergehend nutze ich mit zuletzt genanntem auch 4K, wofür ich momentan eine "GeForce GTX 980" einsetze - die m.E. einfach nur
    Overload für meine Nutzung ist (ich zocke nie, ich arbeite höchstens mit LibreOffice u.ä., Google Chrome u.v.a `vim`) - da habe ich mir
    gedacht, setze ich doch einfach ein reguläres Linux-System ohne Grafikkarte auf, evtl. sogar meinen Internet-Server (server4you.de),
    damit ich den Odroid mit seinem optimalen "HDMI 2.0"-Anschluss als Thin-Client nutzen kann. Der Erlös für meine Grafikkarte - also
    beim Verkauf - finanziert mir dann schon zur Hälfte meinen 3D-Drucker, und evtl. kommt noch mehr rein, wenn ich komplett auf meinen
    Desktop-PC verzichte, um nur meinen Internet-Server zu nutzen (64 GiB DDR4, Intel i7 Skylake, RAID-0, ...).

    Unforgiven hat behauptet, sogar FullHD-Videos konnten über's Netzwerk problemlos angesehen werden, wohl mit SSH-X11-Forwarding,
    was ich eben benutzen möchte, optimalerweise. Zusätzlich dachte ich mir noch ein LVM-Volume auf dem Server, um dem Odroid/Banana
    zusätzlichen SWAP-Speicher via `nbd` zu gönnen, wo ja leider nur wenig vorhanden ist. Nur zur Sicherheit (habe die Erfahrung gemacht,
    wenn diese Mini-PCs "out of RAM" laufen, rebooten sie ...).

    Zusätzlich habe ich mir überlegt, damit schon mal eine Übungsumgebung an den Start bringen zu können - weil ich später irgendwann
    ein Server-/Web-Angebot implementieren müsste, wo es unbedingt Lasten-/Ressourcen-Umverteilung braucht. Da habe ich momentan
    noch NULL Erfahrung mit; leider. Außerdem dachte ich, umso mehr Prozesse könnten in so einem cluster'ed System-Zusammenschluss
    laufen, da ja umso mehr CPU-Kerne mit am Start sind! Was sich m.E. gut eignet, wenn man viele Prozesse laufen lässt. Ob nun Server-
    Dämonen oder Chrome-Instanzen (die ja AFAIR als eigene Prozesse jew. laufen). Geschweige denn eine verteilte Kompilierung, auch sehr
    Interessant.

    Ein letzter Grund für mich wäre v.a. noch, dass es hier GPIOs gibt!! Das heißt, eine optimale Fläche, um eigene Hardware zu betreiben bzw.
    ein erster Schritt in Richtung Heimautomation; oder!? Ist ein mir sehr wichtiges Anliegen, und ich würde lieber solch ein Konstrukt an GPIO-
    fähigen Mini-PCs nutzen, als bloß ein paar Arduino - die zwar schön sind, aber nur wenig Speicher jeweils haben und fernab sind von 64 Bits.

    Das sind meine konkrete Wünsche und Gründe. Ganz davon ab, dass es einfach hoch interessant auf mich wirkt, ein eigenes, ganz kleines
    Rechenzentrum aufzubauen. Die Theorie dahinter ist auch sehr reizvoll, um auch etwas zu lernen, was ich dann später durch meine eigene
    Software gerne umsetzen würde (es sei denn, es gibt bereits ein "perfektes" Betriebssystem in meinem Sinne - sowas wie "Plan 9" oder so?).

    Sodele... schöne Grüße; der Kuchen. :-)´

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  7. #7
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    Wegen der höheren Leistung würde ich meinen Internet-Server nutzen, um mit dem Odroid oder Banana via `ssh -X` als Thin-Client zu arbeiten.

    Ich muss auch noch überlegen, wie ich den Sound am besten übertrage. Ob das `pulseaudio` evtl. über's Netzwerk machen kann - oder welche
    Lösung eignet sich hier; optimalerweise so, dass ich die Sound-Streams via `ssh`-Port-Forwarding verschlüsselt übertragen könnte.

    Vor allem aber denke ich an den Fall, dass auch mal mein Internet-Zugang (oder der Server) ausfallen könnte - daher brauche ich hier eine gute
    Lösung zur Synchronisation mit meinem Desktop-PC (hat weniger Leistung, aber genauso viel Speicherplatz). Den müsste ich optional genauso
    nutzen können (also via `ssh -X`). Wäre da evtl. `rsync` am besten oder `sshfs` (nettes FUSE-Modul) oder welche Lösung?

    Oder sollte ich mich direkt mit "Plan9" auseinander setzen? Einziges Problem evtl. die Kompatibilität. ...

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  8. #8
    Registered User
    Registriert seit
    Aug 2002
    Beiträge
    2.207
    Renommee
    622

    AW: Cluster

    Nur mal so eine Frage. Wer übernimmt den in der konstellation bspw. den Video Decode für deine riesen Filme.
    Klar kann man 4K Filme mittlerweile auch ordentlich im Netzwerk Streamen aber doch nicht ohne Video Player Software auf der Clientseite oder?
    Wenn ich was sage, will das was heißen.

  9. #9
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    Und wofür wollte ich meine(n) Server einsetzen? ;-)´

    So weit ich das verstehe, wird lediglich das fertige Bild übertragen, das Rendern o.ä. läuft gut am (schnellen X64-)Peer.
    Oder was verstehe ich da nicht?

    Habe dazu übrigens einfach auf meinen Servern die ganze Software (Window Manager) zusammen mit xauth installiert,
    und beim Client (HDMI 2.0 also) die x.org-Treiber (MALI) sowie `xinit` mit einer solchen "~/.xinitrc":

    Code:
    exec ssh -XC ${Server-IP} startxfce4
    #exec ssh -XC ${Server-IP} ratpoison
    Mal sehen, ob das gut laufen kann. Und wie's weiter geht. ... So jedenfalls ist das fast eine chroot mit X11. Passt perfekt,
    wie ich finde. Jetzt nur noch einen gemeinsamen, synchronisierten Speicherplatz, damit ich notfalls auch Offline alles am
    Start habe, was ich ja sonst am Server bearbeite.

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  10. #10
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  11. #11
    Registered User
    Registriert seit
    Aug 2002
    Beiträge
    2.207
    Renommee
    622

    AW: Cluster

    Zitat Zitat von kuchen Beitrag anzeigen
    Und wofür wollte ich meine(n) Server einsetzen? ;-)´
    So weit ich das verstehe, wird lediglich das fertige Bild übertragen, das Rendern o.ä. läuft gut am (schnellen X64-)Peer.
    Oder was verstehe ich da nicht?
    .
    Bei Remote Desktop Protokollen schon, ssh assozierte ich nicht damit.
    Hab mich nur gefragt ob die Hardware Implementationen moderner GPUs bei Highend Material, wie du es immer beschreibst.
    Wirklich von einer Server CPU to Mini Computer Struktur zu ersetzen ist. HDMI Anschluss hin oder her.
    Die meisten Erfahrungen musst du wohl selber sammeln, mehr konstruktives kann ich leider nicht beitragen.
    Wenn ich was sage, will das was heißen.

  12. #12
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    Hm, bei SSH könntest du tatsächlich recht haben. Bin mir nicht ganz sicher. Meine aber fast, schon etwas von "xserver-vnc" o.ä. gehört zu haben,
    was dann ja eine Alternative werden könnte. Mal sehen.

    Und klar, so fortschrittlich HDMI 2.0 schon ist bei der ODROID-Grafikkarte (MALI), sie reicht sicherlich nicht heran an meine GeForce GTX 980;
    aber wie ich schon sagte, die ist wiederum fast zu viel für meine Zwecke. ... ich arbeite meistens mit vim, LibreOffice, Inkscape, Scribus, GIMP
    sowie Google Chrome bzw. Firefox; und natürlich dem restlichen Text-Zeugs (`gcc` und `xfce4-terminal` hauptsächlich) - und zocke eigentlich
    niemals, auch wenn meine Graka eher für Zocker ist. ... daher meine ich ja, eigentlich unnötig. ...

    Ich muss mal sehen, wie ich das löse. Das Problem ist atm die Konstruktion eines Debian-Systems für den ODROID. Bin da nicht ganz firm mit
    "U-Boot" bspw. und was auch immer noch nötig ist für diesen Einplatinencomputer. Die Grafik funktioniert jedenfalls, Sound ebenso (über HDMI),
    nur wenn ich nativ das System selbst nutze, hat es vermutlich zu wenig RAM für gutes Arbeiten. Firefox schmiert immer schnell ab z.B. ... aber
    wie gesagt, daher würde ich auch gerne ein Cluster daraus machen (bzw. Remote Desktop Umgebung - die nur den Nachteil der Synchronisation
    mit meinen Daten hätte).

    PS: Wenigstens funktionieren die verfügbaren OS-Images für den ODROID quasi direkt. Beim Banana Pi m64 hatte ich das Problem, zu wenig
    Stromzufuhr zu haben - weil ich kein 2,5 Ampere Netzteil verwendete. Da bootete das System ständig neu bzw. konnte garnicht erst starten. Hier,
    beim ODROID, habe ich direkt das "ODROID-SHOW2"-USB-Display (/dev/ttyUSB0) angeschlossen, ein Bluetooth-USB-Dongle sowie neben der
    Tastatur und Maus auch noch einen USB-Speicherstick - und alles läuft bestens. Und das ebenso mit 64-Bit (ohne da was umschalten zu müssen
    durch Kernel-Boot-Parameter) und auch noch +2 USB-Ports mehr und mit besserer Grafik etc. ...

    => ODROID-C kann ich also jedem als bessere Alternative zu einem Pi empfehlen. ;-)´ Nur WLAN/Bluetooth ist nicht by default verfügbar, da muss
    man nachrüsten. Sound aber geht über HDMI. Funktioniert auch bestens. :-)´ Dafür die GBit-NIC geht auch tadellos. Ich verwende sowieso bei mir
    kein WLAN, auch wenn ich's da hätte. Bevorzuge immer noch kabel-gebunden. ^_^
    Geändert von kuchen (vor einer Woche um 14:47 Uhr)

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

  13. #13
    Quantenmechaniker
    Registriert seit
    Aug 2002
    Beiträge
    1.934
    Renommee
    283

    AW: Cluster

    https://wiki.ubuntuusers.de/VNC/#x11vnc
    http://www.karlrunge.com/x11vnc/

    Code:
    localhost ~ # apt search x11vnc
    
    	ssvnc/unstable 1.0.29-3+b1 amd64
    	  Erweiterter TightVNC-Betrachter mit Hilfe für SSL/SSH-Tunnel
    
    	x11vnc/unstable 0.9.13-2 amd64
    	  VNC-Server gestattet Zugriff auf existierende X-Umgebung von außerhalb
    
    	x11vnc-data/unstable 0.9.13-2 all
    	  Datendateien für x11vnc
    .. oder: ... http://www.butschek.de/fachartikel/vnc4server/
    ... oder: .. https://www.digitalocean.com/communi...er-on-debian-8

    1 2 3 4 5 6 7 8
    2 1 4 3 6 5 8 7
    3 4 1 2 7 8 5 6
    4 3 2 1 8 7 6 5
    5 6 7 8 1 2 3 4
    6 5 8 7 2 1 4 3
    7 8 5 6 3 4 1 2
    8 7 6 5 4 3 2 1

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Ähnliche Themen

  1. (node.js) Cluster
    Von kuchen im Forum Web Development
    Antworten: 2
    Letzter Beitrag: 17.10.2016, 15:52
  2. Eigene Cluster
    Von Wastl im Forum Netzwerktopologie & Technik
    Antworten: 3
    Letzter Beitrag: 02.09.2007, 15:14
  3. JohnNet (jtr cluster)
    Von kraeh im Forum Betaforum
    Antworten: 0
    Letzter Beitrag: 24.09.2005, 16:38
  4. JohnNet (jtr cluster)
    Von kraeh im Forum Kryptologie
    Antworten: 0
    Letzter Beitrag: 24.09.2005, 16:38

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •