We-Mod-It | Das Forum von Moddern für Modder

Auf Anfrage vieler Teilnehmer und interessierter Besucher möchten wir an dieser Stelle einen kleinen Einblick hinter die Kulissen der DCMM geben - ganz besonders im Hinblick auf das Bewertungssystem, vom konzeptionellen Hintergrund, über die Bewertungskriterien der Jury, bishin zur technischen Umsetzung vor Ort. Zusätzlich zu den Teilnahmebedingungen hoffen wir damit mehr Transparenz in die Wertungsfindung zu bringen und die getroffenen Jury-Entscheidungen anhand objektiver Richtlinien nachvollziehbarer zu machen. Außerdem soll dieser Einblick zeigen, vor welchen schwierigen Abwägungen die Jury jedes Mal aufs Neue steht.

Die Bewertungskriterien

Um eine möglichst umfassende und objektive Bewertung zu gewährleisten, werden von den Juroren Bewertungskategorien aus den Bereichen Elektrik & Elektronik, Handwerk, Optik und Kreativität abgefragt. Diese vier Hauptbereiche wurden so gewählt, da sie essenziell für jeden Casemod, Casecon bzw. CE-Mod im Sinne der Casemodding-Community sind: Es geht darum, ein Gerät (Computer bzw. anderes Elektrogerät) eigenhändig zu individualisieren bzw. zu gestalten (→ Handwerk), dabei ein kreatives, praktisches oder originelles Konzept zu verfolgen (→ Kreativität), so dass am Ende eine beeindruckende, oftmals sogar künstlerische, Kreation entsteht (→ Optik). Da die Modifikationen immer um bzw. an einem elektronischen Gerät durchgeführt werden, gehören auch elektrische bzw. elektronische Modifikationen zum Casemodding dazu und fließen als eigene Hauptkategorie in die Bewertung ein (→ Elektrik & Elektronik). Dieses Feld an Bewertungsbereichen deckt möglichst umfassend das große Spektrum an Möglichkeiten ab, die man beim Casemodding hat, und stellt zugleich den bestmöglichen Kompromiss zwischen den vielfältigen Stilrichtungen dar. Die einzelnen Bewertungskategorien der DCMM sollen hier nun näher erläutert werden:

Elektrik & Elektronik

• Aufwand und Anspruch

Hier soll der Umfang der elektrischen und elektronischen Arbeiten festgehalten werden, also wieviel überhaupt gemacht wurde und wie anspruchsvoll bzw. komplex die gewählte Elektrik ist. Beispielsweise ist eine ausgefallene Beleuchtung mit Unmengen an LEDs zwar sehr aufwendig, eine selbst konstruierte Steuerelektronik ist jedoch weitaus komplexer und benötigt ein tieferes Verständnis von der Materie, auch wenn möglicherweise weniger Arbeitsstunden darin stecken. Der Juror kann diese beiden Punkte (Aufwand und Anspruch) selbst abwägen und zu einer Wertung zusammenfassen, also insbesondere auch solche Fälle berücksichtigen, wo wenig gemacht wurde aber dafür sehr hochwertig und umgekehrt. Ein durchdachtes Verkabelungskonzept und sauber aufgebaute Schaltungen bringen hier ebenfalls Punkte.

• Kreativität und Besonderheiten

Wurden nur allgemein bekannte Tutorials nachgebaut (unabhängig vom Anspruch) bzw. fertige Komponenten oder Bausätze miteinander verkabelt oder gibt es kreative, selbständig entwickelte und umgesetzte Lösungen? Gibt es Gimmicks und Besonderheiten, die man so nicht alltäglich im Zusammenhang mit einem Computer bzw. CE-Gerät sieht (z.B. Motorsteuerungen, Mikrocontroller, Funkfernsteuerungen, Handy-Einschalter usw.)?

Handwerk

• Aufwand der handwerklichen Leistung

Hier wird die investierte echte Handarbeit bewertet, unabhängig vom Endergebnis. Wie umfangreich und aufwendig sind die gesamten Umbauten am Case? Wieviele Arbeitsschritte (inkl. Montage) waren nötig und wieviel Mühe hat sich der Erbauer mit handwerklicher Detailarbeit gemacht? Vollautomatische oder von anderen ausgeführte Arbeiten (z.B. CNC-Zuschnitte, Lasergravuren, Profi-Airbrushes, mit einem 3D-Drucker hergestellte Teile usw.) sind keine eigene Handarbeit und werden daher bei der Bewertung in dieser Kategorie nicht berücksichtigt.

• Anspruch der Verarbeitung

Wie anspruchsvoll sind die gewählten Materialien mit dem zur Verfügung stehenden Werkzeug zu verarbeiten? Wie komplex sind die gewählten Formen und Konstruktionen zu fertigen? Beispielsweise ist die manuelle Bearbeitung von Metall oder Glas in der Regel anspruchsvoller als die von Holz oder Kunststoff, was die Erfahrung und handwerkliche Fertigkeit des Erbauers angeht. Ungewöhnliche Formen (Rundungen, geschwungene Linien, Pyramiden o.ä.) sind aufwendig per Hand zu fertigen und bringen daher Punkte in dieser Kategorie. Materialbearbeitung mit vollautomatischen CNC-Maschinen hat hingegen weniger handwerklichen Anspruch.

• Qualität der Verarbeitung

Hier wird nur das Endprodukt bewertet, unabhängig vom Material oder Werkzeug. Wie präzise und sauber wurde gearbeitet? Wurde Wert gelegt auf ein perfektes "Finish" (Feinschliff, polierte Flächen, Versiegelung o.ä.)? Macht das Case einen professionellen, hochwertigen Eindruck oder fallen Verarbeitungsmängel auf?

Optik

• Designkonzept

Hier geht es allein um das äußere Erscheinungsbild, d.h. den optischen Gesamteindruck. Dabei ist die Ausrichtung des Designs prinzipiell egal, es kann stilvoll oder auch originell sein - ein gutes Design muss eine klare Linie und individuellen Charakter besitzen, sich von der Masse abheben. Ungewöhnliche, kreative Ideen werden besonders honoriert. Gibt es überhaupt ein wohldefiniertes Design oder wurde bloß ein Gehäuse, das lediglich die Hardware irgendwie zusammenhält, gebaut bzw. planlos mit Modifikationen verziert? Wie gut harmonieren alle Komponenten miteinander? Passt die Farbgebung oder sticht irgendetwas unpassend hervor? Empfindet man das Werk als ästhetisch? Kann man es als Kunstwerk bezeichnen? Hat es Begeisterungspotential ("Wow-Effekt")?

• Detailaufwand und Sorgfalt

Wie detailliert wurde das Designkonzept ausgeführt? Wieviel Mühe hat sich der Erbauer mit kleinen optischen Details gegeben, die man nicht unbedingt auf den ersten Blick erkennt? Wurde das Designkonzept am ganzen Case, insbesondere in den Detailarbeiten, konsequent umgesetzt? Wird das äußerliche Design auch im Innenraum aufgegriffen? Wie sauber und sorgfältig (speziell was die Optik betrifft) wurde gearbeitet? Gibt es sichtbare Mängel wie ungerade Kanten, Spalte, schlecht entgratete Bohrungen, Fehler im Lack, Dellen und Kratzer usw.?

Kreativität

• Konzept und Thema

In dieser Kategorie wird ausschließlich die kreative Planungs- und Konzeptionsarbeit hinter dem Case bewertet, d.h. das Gehäusekonzept, das dabei herausgekommen ist. Wie komplex und umfangreich war die Planung des Projekts? Wie gut ist sie durchdacht und wie tief geht sie ins Detail? Gibt es neue kreative Ideen (originell oder funktional), die man so noch nicht kennt? Ist die Integration der PC-Hardware (bei Casecons) bzw. des Originalgehäuses (bei Casemods) bzw. des CE-Geräts ins Gehäusekonzept angemessen und gut durchdacht? Wurde mit dem Projekt ein ganzheitliches, klares Thema verfolgt, das sich durch die gesamte Konstruktion zieht, oder wurden bloß Komponenten ohne Zusammenhang gemoddet?

• Umsetzung

Wie konsequent und detailliert wurde das gewählte Konzept umgesetzt? Wie gründlich wurde das Thema durchgezogen, falls es eins gab? Gibt es kreative Problemlösungen?

Gewichtung

Um auf die individuellen Gegebenheiten und Möglichkeiten eines gewählten Gehäusekonzepts besser eingehen zu können, hat der Juror die Möglichkeit, jede der vier Hauptkategorien individuell zu gewichten. Die Gewichtung erlaubt die Einstellungen -33%, ±0 und +33% und wirkt sich gleichermaßen auf alle Unterkategorien einer Hauptkategorie aus. Dabei bedeutet eine höhere Gewichtung einer Kategorie im Vergleich zu anderen Kategorien einen stärkeren Einfluss dieser Kategorie auf das Endergebnis als bei einem einfachen Mittelwert und umgekehrt (für die konkrete mathematische Umsetzung siehe Abschnitt "Technik").

Eine Gewichtung ist dann sinnvoll, wenn ein Gehäusekonzept bewusst Akzente setzt und so prinzipbedingt in einigen der Hauptkategorien stärker oder schwächer ausgeprägt ist. Beispielsweise würde ein schlichtes, "cleanes" Case mit Wertlegung auf edles Design nicht von aufwendigen Lichteffekten und elektrischen Spielereien profitieren - es erreicht daher prinzipbedingt nur wenig Punkte in diesem Bereich. Setzt der Juror nun die Gewichtung für die Hauptkategorie Elektrik & Elektronik herab, fällt die schlechte Bewertung in diesem Bereich weniger stark ins Gewicht und das Case kann umso mehr in den anderen Kategorien punkten. Ebenso kann ein Gehäusekonzept bzw. Thema besonders viel Wert auf eine beeindruckende Show, elektrische Spielereien, aufwendige Materialverarbeitung oder originelles Design legen. In dem Fall ist es angebracht, die entsprechende Hauptkategorie stärker und ggf. andere Hauptkategorien schwächer zu gewichten. Eine Gewichtung bedeutet jedoch keinesfalls immer eine Abschwächung einer schlechten bzw. Verstärkung einer guten Wertung - es wird ausschließlich nach der Ausrichtung des Gehäusekonzepts gewichtet. So kann es auch vorkommen, dass eine Kategorie konzeptbedingt stärker gewichtet wird, aber aufgrund von Verarbeitungsmängeln o.ä. schlecht bewertet wird - dies wirkt sich dann stärker als normal auf die Endwertung aus.

Bonuspunkte

Es gibt zusätzlich zu den 9 Bewertungskategorien (s.o.) eine neutral gewichtete "Bonuskategorie", in der der Juror bis zu 3 Bonuspunkte oder 3 Minuspunkte nach eigenem Ermessen vergeben kann (für die mathematische Umsetzung siehe Abschnitt "Technik"). Es gibt keine festen Richtlinien für Bonuspunkte; die Vorgabe ist lediglich, dass sie ausschließlich mit dem Case zu tun haben (ein Sympathie-Bonus o.ä. ist unzulässig) und konsequent vergeben werden. Bekommt ein Case für ein bestimmtes Feature einen Bonus- oder Minuspunkt, so muss ihn ein anderes Case mit demselben Feature ebenfalls bekommen. Bonuspunkte können z.B. für einmalige Ideen, herausragende Leistungen in den Bewertungskategorien (Handwerk, Elektrik, Design etc.) oder exotische Materialien vergeben werden, Minuspunkte z.B. für eingeschränkte Funktionalität oder Defekte aufgrund von Verarbeitungsmängeln, übermäßigen CNC-Einsatz, unnötige Fertigmods oder Fremdarbeit (Airbrush, Lasergravuren etc.) - das bleibt aber jedem Juror selbst überlassen.


Technik

Mathematischer Hintergrund

In jeder der 9 Bewertungskategorien können Punkte in ganzzahligen Schritten von 0 bis 10 vergeben werden. Die Bonuskategorie wird intern genau wie eine Bewertungskategorie behandelt, allerdings mit anderen Punktabständen. Dabei entsprechen -3 Bonuspunkte 0 Punkten und +3 Bonuspunkte 10 Punkten; Zwischenstufen sind gleichmäßig auf diese Skala verteilt, d.h. -2 Bonuspunkte entsprechen 1,66 Punkten, -1 Bonuspunkt entspricht 3,33 Punkten, ±0 Bonuspunkte entsprechen 5 Punkten usw. Als Endwertung pro Case und Juror wird aus den insgesamt nun 10 Kategorien ein gewichteter Mittelwert gebildet. Die Gewichtungsfaktoren werden wie oben beschrieben pro Hauptkategorie festgelegt. Dabei entspricht -33% einem Faktor von 0,66, ±0 entspricht einem Faktor von 1 und +33% entspricht einem Faktor von 1,33. Die Bonuskategorie hat immer die Gewichtung ±0. Der gewichtete Mittelwert für die Endwertung wird nach folgender Formel berechnet:


Dabei sind G_i die Gewichtungsfaktoren und K_i die Wertungen der jeweiligen Kategorien in Punkten. Die finale Wertung eines Cases ist dann der einfache Mittelwert aus den Endwertungen aller Juroren, die das Case bewertet haben. Die theoretisch maximal erreichbare Endwertung ist genau 10,0 - dafür müssen alle Bewertungskategorien mit 10 Punkten bewertet werden, sowie die maximal möglichen 3 Bonuspunkte vergeben werden. Die Gewichtungen spielen in diesem Fall keine Rolle.

Technische Realisierung vor Ort

Bei diesem Bewertungssystem müssen pro Juror und Case 14 Einzelwerte erfasst werden - das ist mit Papier-Bewertungsbögen zeitlich nicht machbar. Aus diesem Grund gibt es ein elektronisches Bewertungsskript, in welches die Juroren ihre Bewertungen über einen mobilen Browser eintragen (hier ein Ausschnitt der Punktefelder):


Das DCMM-Skript wurde nach Vorgaben der Jury von der planetlan GmbH (Veranstalter der DCMM) entwickelt und läuft auf einem Webserver vor Ort, mit dem die mobilen Geräte der Jury permanent über ein gesichertes WLAN verbunden sind. Jeder Juror loggt sich mit seinen Benutzerdaten am Server ein und erhält eine Liste der zu bewertenden Teilnehmer in seiner Meisterschaftskategorie (Casemods, Casecons, CE-Mods, 24h-Mods). Nach jeder Bewertung werden die gesendeten Daten sofort in einer Datenbank auf dem Server gespeichert und können in Echtzeit ausgewertet werden. Der Juror hat jederzeit die Möglichkeit, eine Liste der schon bewerteten bzw. noch nicht bewerteten Teilnehmer in seiner Meisterschaftskategorie aufzurufen. Ebenfalls ist es möglich, bereits gespeicherte Bewertungen wieder aufzurufen und ggf. zu ändern. Teilnehmer, die erst nach dem Start der Bewertung einchecken, erscheinen automatisch im Bewertungsskript der entsprechenden Jury. Der Status der Bewertung und die aktuellen Ergebnisse können jederzeit abgefragt werden. Erst nachdem alle Juroren alle Cases in ihren jeweiligen Meisterschaftskategorien bewertet haben, steht die Punktevergabe fest und die Sieger können ermittelt werden. Die berechnete Rangliste nach Punkten dient der Jury als Basis zur Bestimmung der ersten 3 Plätze in jeder Meisterschaftskategorie, die jedoch noch ausführlich intern diskutiert werden. Erst wenn in der Jury Konsens über die Sieger herrscht, werden diese offiziell und die Siegerehrung kann beginnen.

Ein Link in der DCMM-Foren-Übersicht sollte reichen.. Übrigens gibt es diese Beschreibung schon seit 2008 (damals noch im früheren DCMM-Forum) - hier nur etwas überarbeitet und auf den neuesten Stand gebracht..

@Ironknocker: bei den cases on the move muss es nicht unbedingt ein elektrischer antrieb sein, es reicht im grunde eine beliebige mechanik (ein simpler klappmechanismus o.ä. punktet dann i.d.r. entsprechend weniger als ein ausgeklügeltes getriebekonzept mit motorisierung o.ä.).. es läuft allerdings eine interne diskussion, ob diese sonderkategorie in zukunft evtl. abgeschafft wird.. wenn dazu eurerseits diskussionsbedarf besteht, kann das gerne in einem separaten thread geschehen..

beides! in der regulären bewertung der mods/cons/CEs fließt es in die entsprechenden bewertungskategorien ein (s.o.), die dazu passen, z.b. elektrik, handwerkliches und konzeption.. darüberhinaus gibt/gab es eine sonderkategorie für die moves mit eigenen aber wenigen bewertungsfeldern (aufwand, anspruch, kreativität, sinngemäß), wo dann nur die move-aspekte des cases bewertet wurden.. darum wurden die move-cases zusätzlich auch vom anderen jury-team, das nicht die reguläre kategorie des cases bewertet hat (mod/con/CE), mitbewertet, aber eben nicht das gesamte case, sondern nur das was "movet" (das haben wir gemacht, weil die move-bewertung schneller geht als die reguläre bewertung und mehr juroren eben eine bessere statistik ergeben)..