MPEG im Netzwerk encoden

falti · Beitrag 0 - Verfasst am: Sa Jan 12, 2002 2:31 Titel:

Hallo Leute,
sicher haben einige von Euch schon mal darüber nachgedacht:
Wie wäre es, wenn man mherere Rechner in einem Netzwerk zum Umrechnen von Video ins MPEG1/2 Format nutzen könnte?
Prinzipiell handelt es sich ja hierbei um ein parallelisierbares Problem. Auf Multiprozessorsystemen klappt das ja auch.
Nun, ich habe mich mal umgesehen und folgendes gefunden:
http://freshmeat.net/projects/pm2v/.
Das hört sich gar nicht mal so schlecht an.

falti · Beitrag 1 - Verfasst am: Sa Jan 12, 2002 14:59 Titel:

weitere Links zum Thema:
http://rfhs8012.fh-regensburg.de/~feyrer/marathon-cluster/
http://www.mtrec.ust.hk/projects/mpeg_2.html
http://bmrc.berkeley.edu/frame/research/mpeg/mpeg_overview.html
http://ilab.usc.edu/beo/ ganz unten!
Etwas OT da DivX, doch auch interessant:
http://www.orexis.se/~mattias/cluster/srs/
Das hier ist m.E. der interessanteste Link zum Thema:
http://www.cs.berkeley.edu/~chema/papers/NOW-mpeg/html/index.html
So, nun seid Ihr dran! Was haltet Ihr davon. Hat jemand schon Erfahrungen auf dem Gebiet? Gibt es andere Ansätze?
(Edited by falti at 12. Jan. 2002
(Edited by falti at 12. Jan. 2002

JAP · Anmeldungsdatum: 04.07.2001 Beiträge: 87

@falti
grundsätzlich finde ich die Idee nicht übel. Allerdings frage ich mich natürlich ob sich das für ein Netz zu Hause lohnt. In d. Regel hast Du ja dort nicht gleich starke Rechner, sondern verschiedene Konstellationen. Und auf der Firma rechnen zu lassen ist zwar verlockend, aber i.d. Regel verboten. Auch als ADMIN kann so etwas gefährlich werden. Und wofür das? Um ab und zu ein DV-Band umzuwandeln? Oder um massig DVD´s zu kopieren? Um es kurz zu machen. Meine persönliche Meinung ist. Nett, aber zu großer Aufwand.
Grüße
JAP

falti · Beitrag 3 - Verfasst am: So Jan 13, 2002 14:25 Titel:

Bei mir ist das so:
Ich hätte auf Arbeit so 8 PIII 500 stehen, die am Wochenende immer ganz traurig sind, weil sie da nix zu tun haben.
Meinen Arbeitgeber interessiert das nicht. Den interessiert nur, ob ich meine Arbeit schaffe. Ansonsten haben wir (Mitarbeiter) sehr vile Freiheiten. Im Gegenteil, der (AG) wäre wahrscheinlich sogar froh, wenn ich auf diese Art und Weise Know-How in Sachen Clustercomputing erlangen würde.
Außerdem wünsche ich mir noch ein paar konstruktive Beiträge, wie man das ganze bewerkstelligen kann. Wenn Du nun gleich nach dem warum fragst, dann wirst Du mir keine große Hilfe sein ;)
Aber ich bin ja schon froh, dass überhaupt mal jemand in die Diskussion einsteigt. Also nix für ungut! ;)

albi · Anmeldungsdatum: 12.11.2001 Beiträge: 38

Hmmm, die Idee ist ja sicher nicht schlecht, wenn man genügend Rechner zur Verfügung hat, die sonst zu nix nütze sind. Wenn Du aber die 8 (produktiven) Rechner für sowas verwendest und bei der ganzen Sache was schiefgehen sollte, dann wird sich Dein Arbeitgeben mit Sicherheit schona dafür interessieren, warum denn auf einmal 8 Rechner neu installiert werden müssen und keiner arbeiten kann. Die Gefahr ist sicherlich recht groß sich ein laufendes System derart zu verbiegen, dass nichts mehr geht, wenn man wenig ausgereifte Systeme darauf laufen läßt (pm2v hat laut sourceforge alpha-Status). Mein Fazit: Idee ist gut, aber nicht auf produktiven Systemen.
Gruß, Al

falti · Beitrag 5 - Verfasst am: So Jan 13, 2002 18:07 Titel:

Also Leute,
was soll denn da schiefgehen?
Von wegen Neuinstallation. Wir reden doch hier in der Hauptsache von Linux! Da ist nix mit Neuinstallation. Außerdem wird wahrscheinlich für diesen Zweck via Netwerk oder Diskette gebootet.
So, kommen jetzt auch mal konstruktive Beiträge? *leicht verärgert*
Nachtrag @albi:
Ein Großteil der Software, die unter Linux alpha-Status hat, läuft stabiler, als manches, was unter Windows Versionsnummer 3.x trägt ;)
(Edited by falti at 13. Jan. 2002

Helmut · Beitrag 6 - Verfasst am: So Jan 13, 2002 18:11 Titel:

@ falti
Kannst Du mal (abseits von den vielen Links ;-)) mal kurz in Deinen Worten erklären WIE das funktionieren soll ? Mal ein paar Stichworte. Weil: Ganz schlau werd ich aus dem Vorhaben nicht.

falti · Beitrag 7 - Verfasst am: So Jan 13, 2002 18:45 Titel:

Verfahren:
1 Rechner ist der Master
-hier wir der ganze Vorgang verwaltet
-hier liegt auch das Ausgangsmaterial vor
6-8 andere Rechner dienen als Slaves
-hier werden gewisse Teilaufgaben erledigt
Die Frage ist: Wie läßt sich das Problem parallelisieren, damit der Master die Teilaufgaben an die Slaves schicken kann und am Ende wieder alles zusammen setzt.
Der letzte Link beschreibt da folgende Ansätze:
1. Frames verteilen
Dies wäre zwar einfach, allerdings hängen ja bei MPEG die Frames voneinander ab - fällt also flach
2. Macroblöcke verteilen
Klingt schon einleuchtender.
Dann stehen da noch vers. Mischformen, darauf will ich aber jetzt nicht weiter eingehen. Das steht auch in dem (letzten) Link viel besser beschrieben, als ich es je könnte.
Klar dürfte sein, dass bei einem herkömmlichen Netzwerk (100MBit) die sinnvolle Anzahl der Slaves beschränkt bleibt. So 8 Stück scheinen ein guter Wert zu sein.
Prinzipiell müsste es praktisch so gehen:
Die Slaves booten via Netzwerk oder Diskette ein angepasstes Linux.
Der Master bekommt die Aufgabe "MPEG encoden" und unterteilt nun diese Aufgabe in entsprechende Teilaufgaben - und diese an die Slaves.
Die Slaves schicken ihre gelösten Teilaufgaben an den Master, der sie wieder zusammensetzt.
Dabei ist es übrigens nicht so schlimm, wenn da unterschiedliche Rechner beteiligt sind. Denn der Master müsste auch ein "Load-Balancing" vornehmen, wobei er die anfallenden Threads je nach Auslastung an den nächsten freien Slave vergibt.
Fakt ist:
MPEG encoden ist ein parallelisierbares Problem, dessen Lösung sich für Cluster-Computing geradezu anbietet!
Daher auch die Links zu bereits realisierten Projekten.

Helmut · Beitrag 8 - Verfasst am: So Jan 13, 2002 19:07 Titel:

@ falti
Mann oh Mann ! Das wird ne Lebensaufgabe für div. Programmierer. Mag sein das man sowas hinbekommt - aber WER hat all die Kenntnisse um das zu realisieren ? Da mußt Du in so vielen Programmen und Betriebssystemen rumpatchen (vom Encoder mal ganz zu schweigen) ...
Na - wie auch immer. Vielleicht finden sich Leute die so ein Projekt angehen wollen.
B.T.W. Die schnellste Methode (mit TMPG) sehe ich immer noch darin eine DUAL CPU zu nehmen. Geschwindigkeitsvorteil fast 100 %. (selbst getestet) ... und das funzt ;-))

falti · Beitrag 9 - Verfasst am: So Jan 13, 2002 20:04 Titel:

Ach wieso "Lebensaufgabe"? Das eine Projekt (alpha-Status) ist doch schon fast fertig ;)
Man muss ja das Rad nicht neu erfinden. Die diversen Universitätsprojekte müssen doch auch irgendwo "vor sich hingammeln".
Ich denke, es braucht einfach eine genügend große Anzahl an Interessenten, damit so ein Projekt nicht austrocknet. Da muss gar nicht mal jeder ein Linux-Guru oder C++ As sein. Vielleicht fällt ja Dir (oder jemand anderem) auch ein völlig anderer Ansatz ein? Möglicherweise könnte man doch mal ganz einfach anfangen:
Ich habe 3 Rechner - teile den Film durch 3 - jeder Rechner rechnet ein Drittel um = 3fache Umrechengeschwindigkeit.
Dass das so nicht geht (100Mbit), ist klar, doch vielleicht kommt man ja mit 4 Rechnern auf die Hälfte der Zeit?
Mann nun seid mal alle nicht so träge und legt Eure Scheuklappen beiseite - bzw. "verunreinigt" mir nicht meinen schönen Thread mit solcher "Wehrkraftzersetzung" ;)

Helmut · Beitrag 10 - Verfasst am: So Jan 13, 2002 20:11 Titel:

Nee, neee .... will Dich und andere ja nicht entmutigen. Geballte (Wehr)kraft kann es evtl. vollbringen ,-)) (und wenn Ihr die NATO zu Hilfe ruft) ....
Solte es gehe, - na gut. Ich hättte genug PC´s im 100 Mbit Netz die ich beschäftigen könnte. Aber "0"-Kapazität um an so einem Projekt mitzuwirken. Sorry.

albi · Anmeldungsdatum: 12.11.2001 Beiträge: 38

@falti
Ich will Dich ja in keinster Weise verärgern oder von dem Vorhaben abhalten. Wie gesagt, die Idee der verteilten Verarbeitung ist ja gut (und wird im großen Stil übers Internet ja auch mit seti@home und Code-Knackern al la RC5-64-Contest durchgeführt). Ich will mit meinem Posting nur die Leute vorwarnen, die jetzt ohne Vorstellung von den möglichen Konsequenzen am Montag ins Büro rennen und reihenweise die Rechner lahmlegen (und damit evtl. den Job riskieren). Als Admin habe ich schon so einiges erlebt.
Die Aussage, dass Software mit Alpha-Stadium unter Linux jetzt stabiler läuft als so manche unter Windows kann ich so pauschal jedoch nicht hinnehmen, ich will jetzt allerdings keinen dieser völlig überflüssigen Flame-wars lostreten, welches denn nun das bessere Betriebssystem ist. Ich stimme mit Dir allerdings überein, dass Linux (besser noch FreeBSD) immer dann die erste Wahl ist, wenn es auf Stabilität und Sicherheit ankommt (Web-Server, Fileserver, DB-Server, etc.).
Gruß, Al

falti · Beitrag 12 - Verfasst am: Mo Jan 14, 2002 10:15 Titel:

die Leute vorwarnen, die jetzt ohne Vorstellung von den möglichen Konsequenzen am Montag ins Büro rennen und reihenweise die Rechner lahmlegen
Na das wird ja schon deshalb nicht passieren, da die gar nicht wüssten, was sie machen sollen.
Um noch mal auf den Punkt zu kommen:
Es geht hier um eine theoretische Diskussion zum Thema MPEG-Cluster-Encoding, an deren Ende günstigstenfalls eine praktische Lösung steht. Hierzu möchte ich alle Interessierten nochmal herzlich auffordern, sich zu beteiligen.
@Alle Mahner, Zweifler, Flinte-ins-Korn-Werfer
Bitte, bitte macht den Thread nicht durch "unaufgeforderte Zwischenrufe" kaputt! ;)

tbonex · Beitrag 13 - Verfasst am: Mo Jan 14, 2002 16:09 Titel:

Also ich mache das schon seit längerem sehr erfolgreich:
Ich zerschnipple das Quellmaterial in n Teile, die der Anzahl
und der Leistungsfähigkeit meiner Rechner (Arbeitsplatz-PC,
Heim-PC, 2 Laptops, ggf. Rechner meines Bruders)
entsprechen. Dann verteile ich alles per LapLink-Kabel und
starte die Encoder. Wenn die Rechner fertig sind, sammle ich
die Teile wieder ein und füge sie zusammen.
Auf diese Weise schaffe ich (ohne dem Handling) mit TMPGEnc
bei höchster Quali Encoding in ca. 2xRealtime.
tbonex
P.S.: Als Informatiker hab' ich auf der Uni natürlich auch das
komplizierte Denken gelernt, aber manchmal sind die
pragmatischen Lösungsansätze auch nicht schlecht ...

Helmut · Beitrag 14 - Verfasst am: Mo Jan 14, 2002 16:18 Titel:

... sammle ich die Teile wieder ein und füge sie zusammen.
Na und ... ? Mit was fügst Du die wieder "zusammen" ohne das es Probleme an der Klebestelle gibt ?

tbonex · Beitrag 15 - Verfasst am: Mo Jan 14, 2002 16:42 Titel:

... mit dem MPEG-Tool 'Merge&Cut' aus TMPEnc hatte ich
noch nie schlechte Erfahrungen; oder bei DV-Videos lasse ich
die Schnippel (='Kapiteln') getrennt und 'authore' sie erst
auf der (mini)DVD wieder 'zusammen'.
Grüsse

Helmut · Beitrag 16 - Verfasst am: Mo Jan 14, 2002 16:53 Titel:

MPEG-Tool 'Merge&Cut' macht das nicht ordentlich - "pfeift" an der Schnittstelle und neigt bei großen Dateien zum abkleben.
DV-Videos auf (mini)DVD ist so ne Sache ... die gängigen DVD Authorsoft lassen es nicht zu die Clips zu "Verlinken" . Zumal ich dann schon VORHER die Kapitel mir überlegen muß. Bei machner Authorsoft gibt es zw. den Clip-Kapiteln dann keinen flüssigen Übergang und es ruckelt.
Ordentliche zu einem Stream geht es nur mit Womble oder mit M2-EDIT (was net billig ist !)
Da nur so am Rande .....