Encoder Blindtest

[Gleitz]

Wenn bisher Encodertests gemacht wurden, gab es immer das Problem das man sich auf den subjektiven Eindruck des Testers verlassen musste. Als interessierter Leser hatte man auch keinen Einfluss bei der Auswahl der präsentierten Bilder. Wurde die Bildauswahl immer objektiv getroffen?
Hinzu kommt noch, das die Wahrnehmung eines bewegen Bildes eine gewissen Spannbreite aufweist was schon von daher kommt, das jeder individuell einzelne Details war nimmt und der eine gewissen Einflüsse als störend empfindet und ein andere diese nicht mal bemerkt.
Wir haben uns daher entschlossen, einen Blindtest zu machen, wo die visuelle Beurteilung durch die User erfolgt.

Wir haben jetzt einige Encoder aus dem untersten Preissegment genommen und versucht die optimalsten Einstellungen für unseren Testclip zu finden. Diese Dateien stellen wir jetzt zum Download und zur Bewertung bereit.

Unser Testclip ist eine DV-Avi, die mit dem Canopus dvsd DVC/DV Video Codec gespeichert wurde. Der Clip besteht aus insgesamt 5 Teilen mit unterschiedlichen Anforderungen an den Encoder.

Testvorgaben:
Bitrate: min. 3.000 kbps, avg. 6.000 kbps und max. Bitrate 9.000 kbps.
2-pass VBR, sprich zwei Rechendurchgänge.
Scene Change: ein

Bei der Bitrate war der Hintergedanke, das ca. 99 min. DV-Avi auf eine DVD sollen. Gleichzeitig soll überprüft werden, ob der Encoder die mindest und die maximale Bitrate einhält.
2-pass VBR wurde festgelegt als kleinster gemeinsamer Nenner für den Modi des Encoders, auch wenn ein einzelner Testkandidat auch andere Möglichkeiten zulässt.
Scene Change wurde aktiviert um zu überprüfen, ob der Encoder sauber Szenenwechsel erkennt und passend ein I-Frame setzt.
Gleichzeitig sollten die Testclip ohne eine Fehlermeldung von professionellen Authoring-Tools akzeptiert werden.

Alle anderen Einstellungen nach belieben, um ein optimales Ergebnis zu erzielen. Welche Einstellungen getroffen wurden bei den einzelnen Encodern wird erst am Testende veröffentlicht, um keinerlei Beeinflussung bei der visuellen Bewertung auszuüben.

Helfe mit und bewerte!
Die visuelle Bewertung soll durch dich erfolgen!
Lade dir die Testclips herunter, erstelle daraus eine DVD (RW) und schaue dir die Dateien auf deinem Fernsehgerät an.
Du kannst zum einen hier in diesem Beitrag abstimmen, welcher Clip in deinen Augen die beste Qualität hat, oder auf einem dafür vorbereiteten Formular. Auch deine Meinung und Kommentar dazu ist gefragt.
[Das Formular für das Feedback wir in bis spätestens Sonntag veröffentlicht]

Wenn genug Stimmen und Meinungen gesammelt worden sind, wird der Test beendet und aufgelöst welcher Encoder mit welcher Einstellung dahinter steckt. In einem Abschlussbericht wird das ganze auch noch mal von der technischen Seite her aufgerollt und veröffentlicht.

Die einzelne Testclips stellen wir über ein dafür spezielle eingerichtetes BitTorrent Filesharing-System zu Verfügung. Ein Download über http oder ftp können wir mit der zu erwartenden Traffic aus Kostengründen nicht realisieren. eMule und Co. scheiden aus, da wir bei diesen Systemen nicht kontrollieren können, welche Dateien über unseren Server gehen. BitTorrent ist auch gleichzeitig der effektivste Weg für eine solche Verteilung.

Für den download der Dateien wird daher ein BitTorrent Client benötigt. Die bekanntesten sind ABC [Yet Another Bittorrent Client] und Azureus, die auch eine Begrenzung für den Down- und Upload zulassen, um gewohnt weiter zu surfen können.

Wichtig:
Nach dem Download die Dateien selber noch einige Zeit zum Upload bereitstellen. Ansonsten funktioniert das System nicht. Lasse die Dateien noch mindesten 1x hochladen, besser 2x.
Zum Testanfang kann es zu Verzögerungen beim Download kommen, bis die Dateien ausreichend vorverteilt wurden.

Sollte unser erster Test in dieser Art Erfolg unsere Erwartungen erfüllen, werden bestimmt in absehbarer Zeit noch mehr kommen.

Danksagung:
Ich möchte mich noch persönlich bei mb1 für seine Unterstützung bedanken. mb1 hat zum einen das Testmaterial geschnitten und zum anderen selbst zwei Files aus dem Test erstellt.
Ebenso gehört mein Dank dem DVD-SVCD-Forum, von dessen Mitgliedern diese einzelnen Szenen für den Testclip stammen, sowie der generellen Unterstützung durch die einzelnen Mitgliedern.
Mein Dank gibt auch meinem Team, das mich aktiv bei der Umsetzung unterstützt hat.
Auch möchte ich mich jetzt schon bei den hoffentlich zahlreichen Testern bedanken für ihre Bemühungen.

Schlussbemerkung:
Dieser Beitrag wird Schrittweise auf mehreren Foren veröffentlich, um die größtmögliche Verbreitung für diesen Test zu erreichen. Die schrittweise Veröffentlich hängt ab von der Vorverteilung der Clips über BitTorrent.
Wenn jemand diese Clips über FTP einer eingeschränken Gruppe bereitstellen möchte, bitte eine PM an mich. Danke!

//Nachtrag:
Ein Formular zur Bewertung steht unter http://www.gleitz.org/index.php?id=84 zu Verfügung

//Nachtrag 2.
Die Dateien stehen jetzt für einige Tage als http Download zu Verfügung. Die Links dazu sind auf der Seite für die Abstimmung zu finden. http://www.gleitz.org/index.php?id=84
--------------------------------

Download der Torrent Dateien:

Testfile 01
Testfile 02
Testfile 03
Testfile 04

[BPHennek]

Gibt es schon einen Trend?

Kann jemand die Files zum direkten Download einlinken, auch die Quell-AVI?
Heeeelmut, wo bist Duuuuu?
_________________
Gier und Uneinsichtigkeit fressen den Verstand!

[mb1]

Die Dateien bekommst du nicht zum direkten Download, nur über das Bittorrent-System (jede Datei hat rund 53 MB).

Kein Mensch kann den entstehenden Traffic einfach so schultern bzw. bezahlen, weil jeder Hirni mit DSL einfach auf den Link draufklicken würde.


So wie ich das sehe, gibt es auch bereits einen Trend
Es soll aber niemand in seiner eigenen Beurteilung beeinflusst werden, geht schließlich nichts über die persönliche Vorschau am TV-Gerät


@ Gleitz
Danke für die Arbeit, die Du Dir gemacht hast! Sieht man heute nur noch selten. Ist auch etwas, das ich bei den Doom9-Verantwortlichen sehr schätze.
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[BPHennek]

Habe schon gesehen, der Trend geht eindeutig zum ProCoder!
_________________
Gier und Uneinsichtigkeit fressen den Verstand!

[motiongroup]

Hallo MB1, der Quellfile würde mir auch helfen einen anderen Encoder zu testen...

mfg Günter

[AnimalMother]

[motiongroup]

ist vom Encoder als Ergebnis relativ egal.. sie dienen so oder so als Ref. Clips für meinen Encoder und damit ist es Wurst was sich dahinter verbirgt

[mb1]

[motiongroup]

Hallo MB1 würd ich dir gerne ich hab aber ein NDA unterschrieben....

ich selbst hab ihn ja schon darum will ich ja vergleichen

melde dich zum Betatest bei Cinegy die werden besonders Dich mit offenen Armen empfangen...

[mb1]

[motiongroup]

der neue Encoder ist in der Version 7 von cinegy eXtreme und Moviepack 7 Pro integriert...

Wobei Moviepack 7 Pro seit Heute verfügbar ist...

Das Standallone Encodertool ist erst in der Betaphase wenn auch schon in der Final Beta

[motiongroup]

ach ja welche Achterbahn und welches Hallenbad ist da mit dabei??

die vom Hr. Wesenberg??

[Gleitz]

Es gibt im Moment einen ganz klaren Trend. Mal warten wie sich das weiter entwickelt. Ich will heute noch an das DVDBoard heran und im laufe der Woche noch an das eng. Doom9 Forum.

Interessant sind natürlich auch noch die Ausreißer bei einzelnen Szenen ;) ABER, nicht jetzt

[Helmut]

[BPHennek]

Hallo, fünf Stimmen, davon drei für Datei 03!
Dolle Teilnehmerzahl am Doppelblindversuch...
_________________
Gier und Uneinsichtigkeit fressen den Verstand!

[mb1]

Im Canopus-Forum mitlesen, sich dann dort verarschen lassen müssen und hier dann den Test madig machen.

Solche Lästermäuler hab ich gefressen

Warum nicht auch mal was beitragen, anstatt immer zu mosern oder negative Stimmung zu machen.

Ach, du kannst es ja nicht anders ... armes ...


Der Versuch hat gerade erst angefangen, die großen Communities werden erst allmählich eingebunden, damit man die Dateien überhaupt bekommen kann, ohne daß alles gleich komplett überlastet wird.
Leider stellt kaum jemand die Dateien wieder bereit
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[BPHennek]

Bin sehr traurig darüber, was Du da sagst MB1, dabei respektiere ich Dich sehr!

Würde gerne mitbeurteilen, habe aber keine Dateien...

Habe aber alles unternommen, damit der Test bekannt wird und sich möglichst viele Hobbyisten daran beteiligen.

Also lästere DU mal nicht über den Bruno in anderen Foren, erhebe Dich nicht zu sehr, sonst werde ich garschtig!.
_________________
Gier und Uneinsichtigkeit fressen den Verstand!

[Tsunami]

[mb1]

Das ist es doch gerade!
Du kennst die Dateien nicht mal, urteilst aber ständig.

Gestern noch war angeblich der Procoder Datei 04, heute liegt eine andere Datei vorne und dann urteilst du sofort, die Canopus-Leute könnten ihre Felle davonschwimmen sehen. Natürlich nur mit dem Zweck, Zwietracht zu säen.

Um den Thread jetzt aber nicht zu zerbomben, war es das von mir zu diesem Thema.
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[BPHennek]

@Tsunami,
mit ISDN 1-Kanal..., dann schon lieber per Rauchzeichen!

@mb1, Du bildest Dir etwas ein!
_________________
Gier und Uneinsichtigkeit fressen den Verstand!