You are not logged in.

Novgorod

Gern hier!

  • "Novgorod" started this thread

Posts: 126

Date of registration: Jan 15th 2013

Location: Pohang

Occupation: Promovierter Casemodder

Thanks: 16

  • Send private message

1

Sunday, August 24th 2014, 11:39pm

Hinter den Kulissen: Das DCMM-Bewertungssystem

Auf Anfrage vieler Teilnehmer und interessierter Besucher möchten wir an dieser Stelle einen kleinen Einblick hinter die Kulissen der DCMM geben - ganz besonders im Hinblick auf das Bewertungssystem, vom konzeptionellen Hintergrund, über die Bewertungskriterien der Jury, bishin zur technischen Umsetzung vor Ort. Zusätzlich zu den Teilnahmebedingungen hoffen wir damit mehr Transparenz in die Wertungsfindung zu bringen und die getroffenen Jury-Entscheidungen anhand objektiver Richtlinien nachvollziehbarer zu machen. Außerdem soll dieser Einblick zeigen, vor welchen schwierigen Abwägungen die Jury jedes Mal aufs Neue steht.

Die Bewertungskriterien

Um eine möglichst umfassende und objektive Bewertung zu gewährleisten, werden von den Juroren Bewertungskategorien aus den Bereichen Elektrik & Elektronik, Handwerk, Optik und Kreativität abgefragt. Diese vier Hauptbereiche wurden so gewählt, da sie essenziell für jeden Casemod, Casecon bzw. CE-Mod im Sinne der Casemodding-Community sind: Es geht darum, ein Gerät (Computer bzw. anderes Elektrogerät) eigenhändig zu individualisieren bzw. zu gestalten (→ Handwerk), dabei ein kreatives, praktisches oder originelles Konzept zu verfolgen (→ Kreativität), so dass am Ende eine beeindruckende, oftmals sogar künstlerische, Kreation entsteht (→ Optik). Da die Modifikationen immer um bzw. an einem elektronischen Gerät durchgeführt werden, gehören auch elektrische bzw. elektronische Modifikationen zum Casemodding dazu und fließen als eigene Hauptkategorie in die Bewertung ein (→ Elektrik & Elektronik). Dieses Feld an Bewertungsbereichen deckt möglichst umfassend das große Spektrum an Möglichkeiten ab, die man beim Casemodding hat, und stellt zugleich den bestmöglichen Kompromiss zwischen den vielfältigen Stilrichtungen dar. Die einzelnen Bewertungskategorien der DCMM sollen hier nun näher erläutert werden:

Elektrik & Elektronik
  • Aufwand und Anspruch
Hier soll der Umfang der elektrischen und elektronischen Arbeiten festgehalten werden, also wieviel überhaupt gemacht wurde und wie anspruchsvoll bzw. komplex die gewählte Elektrik ist. Beispielsweise ist eine ausgefallene Beleuchtung mit Unmengen an LEDs zwar sehr aufwendig, eine selbst konstruierte Steuerelektronik ist jedoch weitaus komplexer und benötigt ein tieferes Verständnis von der Materie, auch wenn möglicherweise weniger Arbeitsstunden darin stecken. Der Juror kann diese beiden Punkte (Aufwand und Anspruch) selbst abwägen und zu einer Wertung zusammenfassen, also insbesondere auch solche Fälle berücksichtigen, wo wenig gemacht wurde aber dafür sehr hochwertig und umgekehrt. Ein durchdachtes Verkabelungskonzept und sauber aufgebaute Schaltungen bringen hier ebenfalls Punkte.
  • Kreativität und Besonderheiten
Wurden nur allgemein bekannte Tutorials nachgebaut (unabhängig vom Anspruch) bzw. fertige Komponenten oder Bausätze miteinander verkabelt oder gibt es kreative, selbständig entwickelte und umgesetzte Lösungen? Gibt es Gimmicks und Besonderheiten, die man so nicht alltäglich im Zusammenhang mit einem Computer bzw. CE-Gerät sieht (z.B. Motorsteuerungen, Mikrocontroller, Funkfernsteuerungen, Handy-Einschalter usw.)?

Handwerk
  • Aufwand der handwerklichen Leistung
Hier wird die investierte echte Handarbeit bewertet, unabhängig vom Endergebnis. Wie umfangreich und aufwendig sind die gesamten Umbauten am Case? Wieviele Arbeitsschritte (inkl. Montage) waren nötig und wieviel Mühe hat sich der Erbauer mit handwerklicher Detailarbeit gemacht? Vollautomatische oder von anderen ausgeführte Arbeiten (z.B. CNC-Zuschnitte, Lasergravuren, Profi-Airbrushes, mit einem 3D-Drucker hergestellte Teile usw.) sind keine eigene Handarbeit und werden daher bei der Bewertung in dieser Kategorie nicht berücksichtigt.
  • Anspruch der Verarbeitung
Wie anspruchsvoll sind die gewählten Materialien mit dem zur Verfügung stehenden Werkzeug zu verarbeiten? Wie komplex sind die gewählten Formen und Konstruktionen zu fertigen? Beispielsweise ist die manuelle Bearbeitung von Metall oder Glas in der Regel anspruchsvoller als die von Holz oder Kunststoff, was die Erfahrung und handwerkliche Fertigkeit des Erbauers angeht. Ungewöhnliche Formen (Rundungen, geschwungene Linien, Pyramiden o.ä.) sind aufwendig per Hand zu fertigen und bringen daher Punkte in dieser Kategorie. Materialbearbeitung mit vollautomatischen CNC-Maschinen hat hingegen weniger handwerklichen Anspruch.
  • Qualität der Verarbeitung
Hier wird nur das Endprodukt bewertet, unabhängig vom Material oder Werkzeug. Wie präzise und sauber wurde gearbeitet? Wurde Wert gelegt auf ein perfektes "Finish" (Feinschliff, polierte Flächen, Versiegelung o.ä.)? Macht das Case einen professionellen, hochwertigen Eindruck oder fallen Verarbeitungsmängel auf?

Optik
  • Designkonzept
Hier geht es allein um das äußere Erscheinungsbild, d.h. den optischen Gesamteindruck. Dabei ist die Ausrichtung des Designs prinzipiell egal, es kann stilvoll oder auch originell sein - ein gutes Design muss eine klare Linie und individuellen Charakter besitzen, sich von der Masse abheben. Ungewöhnliche, kreative Ideen werden besonders honoriert. Gibt es überhaupt ein wohldefiniertes Design oder wurde bloß ein Gehäuse, das lediglich die Hardware irgendwie zusammenhält, gebaut bzw. planlos mit Modifikationen verziert? Wie gut harmonieren alle Komponenten miteinander? Passt die Farbgebung oder sticht irgendetwas unpassend hervor? Empfindet man das Werk als ästhetisch? Kann man es als Kunstwerk bezeichnen? Hat es Begeisterungspotential ("Wow-Effekt")?
  • Detailaufwand und Sorgfalt
Wie detailliert wurde das Designkonzept ausgeführt? Wieviel Mühe hat sich der Erbauer mit kleinen optischen Details gegeben, die man nicht unbedingt auf den ersten Blick erkennt? Wurde das Designkonzept am ganzen Case, insbesondere in den Detailarbeiten, konsequent umgesetzt? Wird das äußerliche Design auch im Innenraum aufgegriffen? Wie sauber und sorgfältig (speziell was die Optik betrifft) wurde gearbeitet? Gibt es sichtbare Mängel wie ungerade Kanten, Spalte, schlecht entgratete Bohrungen, Fehler im Lack, Dellen und Kratzer usw.?

Kreativität
  • Konzept und Thema
In dieser Kategorie wird ausschließlich die kreative Planungs- und Konzeptionsarbeit hinter dem Case bewertet, d.h. das Gehäusekonzept, das dabei herausgekommen ist. Wie komplex und umfangreich war die Planung des Projekts? Wie gut ist sie durchdacht und wie tief geht sie ins Detail? Gibt es neue kreative Ideen (originell oder funktional), die man so noch nicht kennt? Ist die Integration der PC-Hardware (bei Casecons) bzw. des Originalgehäuses (bei Casemods) bzw. des CE-Geräts ins Gehäusekonzept angemessen und gut durchdacht? Wurde mit dem Projekt ein ganzheitliches, klares Thema verfolgt, das sich durch die gesamte Konstruktion zieht, oder wurden bloß Komponenten ohne Zusammenhang gemoddet?
  • Umsetzung
Wie konsequent und detailliert wurde das gewählte Konzept umgesetzt? Wie gründlich wurde das Thema durchgezogen, falls es eins gab? Gibt es kreative Problemlösungen?

Gewichtung

Um auf die individuellen Gegebenheiten und Möglichkeiten eines gewählten Gehäusekonzepts besser eingehen zu können, hat der Juror die Möglichkeit, jede der vier Hauptkategorien individuell zu gewichten. Die Gewichtung erlaubt die Einstellungen -33%, ±0 und +33% und wirkt sich gleichermaßen auf alle Unterkategorien einer Hauptkategorie aus. Dabei bedeutet eine höhere Gewichtung einer Kategorie im Vergleich zu anderen Kategorien einen stärkeren Einfluss dieser Kategorie auf das Endergebnis als bei einem einfachen Mittelwert und umgekehrt (für die konkrete mathematische Umsetzung siehe Abschnitt "Technik").

Eine Gewichtung ist dann sinnvoll, wenn ein Gehäusekonzept bewusst Akzente setzt und so prinzipbedingt in einigen der Hauptkategorien stärker oder schwächer ausgeprägt ist. Beispielsweise würde ein schlichtes, "cleanes" Case mit Wertlegung auf edles Design nicht von aufwendigen Lichteffekten und elektrischen Spielereien profitieren - es erreicht daher prinzipbedingt nur wenig Punkte in diesem Bereich. Setzt der Juror nun die Gewichtung für die Hauptkategorie Elektrik & Elektronik herab, fällt die schlechte Bewertung in diesem Bereich weniger stark ins Gewicht und das Case kann umso mehr in den anderen Kategorien punkten. Ebenso kann ein Gehäusekonzept bzw. Thema besonders viel Wert auf eine beeindruckende Show, elektrische Spielereien, aufwendige Materialverarbeitung oder originelles Design legen. In dem Fall ist es angebracht, die entsprechende Hauptkategorie stärker und ggf. andere Hauptkategorien schwächer zu gewichten. Eine Gewichtung bedeutet jedoch keinesfalls immer eine Abschwächung einer schlechten bzw. Verstärkung einer guten Wertung - es wird ausschließlich nach der Ausrichtung des Gehäusekonzepts gewichtet. So kann es auch vorkommen, dass eine Kategorie konzeptbedingt stärker gewichtet wird, aber aufgrund von Verarbeitungsmängeln o.ä. schlecht bewertet wird - dies wirkt sich dann stärker als normal auf die Endwertung aus.

Bonuspunkte

Es gibt zusätzlich zu den 9 Bewertungskategorien (s.o.) eine neutral gewichtete "Bonuskategorie", in der der Juror bis zu 3 Bonuspunkte oder 3 Minuspunkte nach eigenem Ermessen vergeben kann (für die mathematische Umsetzung siehe Abschnitt "Technik"). Es gibt keine festen Richtlinien für Bonuspunkte; die Vorgabe ist lediglich, dass sie ausschließlich mit dem Case zu tun haben (ein Sympathie-Bonus o.ä. ist unzulässig) und konsequent vergeben werden. Bekommt ein Case für ein bestimmtes Feature einen Bonus- oder Minuspunkt, so muss ihn ein anderes Case mit demselben Feature ebenfalls bekommen. Bonuspunkte können z.B. für einmalige Ideen, herausragende Leistungen in den Bewertungskategorien (Handwerk, Elektrik, Design etc.) oder exotische Materialien vergeben werden, Minuspunkte z.B. für eingeschränkte Funktionalität oder Defekte aufgrund von Verarbeitungsmängeln, übermäßigen CNC-Einsatz, unnötige Fertigmods oder Fremdarbeit (Airbrush, Lasergravuren etc.) - das bleibt aber jedem Juror selbst überlassen.


Technik

Mathematischer Hintergrund

In jeder der 9 Bewertungskategorien können Punkte in ganzzahligen Schritten von 0 bis 10 vergeben werden. Die Bonuskategorie wird intern genau wie eine Bewertungskategorie behandelt, allerdings mit anderen Punktabständen. Dabei entsprechen -3 Bonuspunkte 0 Punkten und +3 Bonuspunkte 10 Punkten; Zwischenstufen sind gleichmäßig auf diese Skala verteilt, d.h. -2 Bonuspunkte entsprechen 1,66 Punkten, -1 Bonuspunkt entspricht 3,33 Punkten, ±0 Bonuspunkte entsprechen 5 Punkten usw. Als Endwertung pro Case und Juror wird aus den insgesamt nun 10 Kategorien ein gewichteter Mittelwert gebildet. Die Gewichtungsfaktoren werden wie oben beschrieben pro Hauptkategorie festgelegt. Dabei entspricht -33% einem Faktor von 0,66, ±0 entspricht einem Faktor von 1 und +33% entspricht einem Faktor von 1,33. Die Bonuskategorie hat immer die Gewichtung ±0. Der gewichtete Mittelwert für die Endwertung wird nach folgender Formel berechnet:


Dabei sind Gi die Gewichtungsfaktoren und Ki die Wertungen der jeweiligen Kategorien in Punkten. Die finale Wertung eines Cases ist dann der einfache Mittelwert aus den Endwertungen aller Juroren, die das Case bewertet haben. Die theoretisch maximal erreichbare Endwertung ist genau 10,0 - dafür müssen alle Bewertungskategorien mit 10 Punkten bewertet werden, sowie die maximal möglichen 3 Bonuspunkte vergeben werden. Die Gewichtungen spielen in diesem Fall keine Rolle.

Technische Realisierung vor Ort

Bei diesem Bewertungssystem müssen pro Juror und Case 14 Einzelwerte erfasst werden - das ist mit Papier-Bewertungsbögen zeitlich nicht machbar. Aus diesem Grund gibt es ein elektronisches Bewertungsskript, in welches die Juroren ihre Bewertungen über einen mobilen Browser eintragen (hier ein Ausschnitt der Punktefelder):


Das DCMM-Skript wurde nach Vorgaben der Jury von der planetlan GmbH (Veranstalter der DCMM) entwickelt und läuft auf einem Webserver vor Ort, mit dem die mobilen Geräte der Jury permanent über ein gesichertes WLAN verbunden sind. Jeder Juror loggt sich mit seinen Benutzerdaten am Server ein und erhält eine Liste der zu bewertenden Teilnehmer in seiner Meisterschaftskategorie (Casemods, Casecons, CE-Mods, 24h-Mods). Nach jeder Bewertung werden die gesendeten Daten sofort in einer Datenbank auf dem Server gespeichert und können in Echtzeit ausgewertet werden. Der Juror hat jederzeit die Möglichkeit, eine Liste der schon bewerteten bzw. noch nicht bewerteten Teilnehmer in seiner Meisterschaftskategorie aufzurufen. Ebenfalls ist es möglich, bereits gespeicherte Bewertungen wieder aufzurufen und ggf. zu ändern. Teilnehmer, die erst nach dem Start der Bewertung einchecken, erscheinen automatisch im Bewertungsskript der entsprechenden Jury. Der Status der Bewertung und die aktuellen Ergebnisse können jederzeit abgefragt werden. Erst nachdem alle Juroren alle Cases in ihren jeweiligen Meisterschaftskategorien bewertet haben, steht die Punktevergabe fest und die Sieger können ermittelt werden. Die berechnete Rangliste nach Punkten dient der Jury als Basis zur Bestimmung der ersten 3 Plätze in jeder Meisterschaftskategorie, die jedoch noch ausführlich intern diskutiert werden. Erst wenn in der Jury Konsens über die Sieger herrscht, werden diese offiziell und die Siegerehrung kann beginnen.

11 registered users thanked already.

Users who thanked for this post:

chris19 (24.08.2014), der_george (25.08.2014), Paladin (25.08.2014), thechoozen (25.08.2014), Ironknocker (25.08.2014), Socke (25.08.2014), madmaik[ymd] (25.08.2014), Semme (25.08.2014), sOne (25.08.2014), Jama (29.08.2014), patricifiko99 (30.08.2014)

der_george

"Mein Name ist George - Der George"

Posts: 4,832

Date of registration: Mar 17th 2010

Location: Da wo der Berch wohnt

Occupation: Inginöööör und Freundinbeschäftiger

Thanks: 356

  • Send private message

2

Monday, August 25th 2014, 12:44am

super Beitrag! :thumbsup:

Das sollten wir direkt oben im DCMM-Bereich anpinnen, denn es enthält paktisch jede Antwort auf Fragen zur Jurybewertung.

So long :0)
Meine Mods bei we-mod-it:
24h Stealth - 1.Platz 24h Livemodding DCMM 2010 | | taabar sin - 2. Platz Casemod DCMM 2012 | | 24h Semmetastic - 2. Platz 24h Livemodding DCMM 2013

Mein Modding-Verkaufsthread

Novgorod

Gern hier!

  • "Novgorod" started this thread

Posts: 126

Date of registration: Jan 15th 2013

Location: Pohang

Occupation: Promovierter Casemodder

Thanks: 16

  • Send private message

3

Monday, August 25th 2014, 12:48am

Ein Link in der DCMM-Foren-Übersicht sollte reichen.. Übrigens gibt es diese Beschreibung schon seit 2008 (damals noch im früheren DCMM-Forum) ;) - hier nur etwas überarbeitet und auf den neuesten Stand gebracht..

Alan-Lee

Nur wenn er drin ist Funktioniert er...

Posts: 3,578

Date of registration: Jul 26th 2011

Name: Ali Abbas alias Alan-Lee

Location: Schwabach

Occupation: Selfemployed in the IT sector

Thanks: 123

  • Send private message

4

Monday, August 25th 2014, 3:07am

thats very interesting, i read it 3 times to unerstand it better.
epecially the part about design concept.
and handicraft work versus automation, glad to hear that. mein lieblings thema :thumbsup:



Dont see what it is, see what it could be!

more to see at www.computer-designer.com

Paladin

Wenn I Murksen muss... Aaarrgh..

Posts: 12,086

Date of registration: Jul 18th 2009

Name: Patrick Betz

Location: Simbach bei Landau a. d. Isar

Occupation: Kraftfahrer (Gelernter Schreiner)

Thanks: 363

  • Send private message

5

Monday, August 25th 2014, 4:26am

Sehr informativ.
Ich hab's als Ankündigung eingestellt, wird jetzt somit in allen DCMM Foren oben angezeigt.
COMPLEX-MODS.deMODDING | CONS | CE-MODS
HausModding by Patrick und Sonja

Ein Bayer kann alles, außer Hochdeutsch...... :D


1 registered user thanked already.

Users who thanked for this post:

Novgorod (25.08.2014)

Ironknocker

Heisskleber und Spaxschrauben!

Posts: 2,872

Date of registration: Aug 31st 2010

Location: Koblenz

Occupation: Meister im Metallbauhandwerk

Thanks: 117

  • Send private message

6

Monday, August 25th 2014, 9:28am

Coole Sache. Schön das hier zu lesen.

Früher war es mal so das wenn man was bei On the Move anmeldet es auch Motoren haben muss die diese Bewegung ausführen.

Heute reicht es auch wenn eine Komplexe Mechanik dahinter steht die von Hand bewegt wird?

Novgorod

Gern hier!

  • "Novgorod" started this thread

Posts: 126

Date of registration: Jan 15th 2013

Location: Pohang

Occupation: Promovierter Casemodder

Thanks: 16

  • Send private message

7

Monday, August 25th 2014, 5:29pm

@Ironknocker: bei den cases on the move muss es nicht unbedingt ein elektrischer antrieb sein, es reicht im grunde eine beliebige mechanik (ein simpler klappmechanismus o.ä. punktet dann i.d.r. entsprechend weniger als ein ausgeklügeltes getriebekonzept mit motorisierung o.ä.).. es läuft allerdings eine interne diskussion, ob diese sonderkategorie in zukunft evtl. abgeschafft wird.. wenn dazu eurerseits diskussionsbedarf besteht, kann das gerne in einem separaten thread geschehen..

Ironknocker

Heisskleber und Spaxschrauben!

Posts: 2,872

Date of registration: Aug 31st 2010

Location: Koblenz

Occupation: Meister im Metallbauhandwerk

Thanks: 117

  • Send private message

8

Monday, August 25th 2014, 5:59pm

werden motoren/moves derzeit in der normalen bewertung mit gevotet oder nur in der sonderkategorie?

Novgorod

Gern hier!

  • "Novgorod" started this thread

Posts: 126

Date of registration: Jan 15th 2013

Location: Pohang

Occupation: Promovierter Casemodder

Thanks: 16

  • Send private message

9

Monday, August 25th 2014, 6:11pm

beides! in der regulären bewertung der mods/cons/CEs fließt es in die entsprechenden bewertungskategorien ein (s.o.), die dazu passen, z.b. elektrik, handwerkliches und konzeption.. darüberhinaus gibt/gab es eine sonderkategorie für die moves mit eigenen aber wenigen bewertungsfeldern (aufwand, anspruch, kreativität, sinngemäß), wo dann nur die move-aspekte des cases bewertet wurden.. darum wurden die move-cases zusätzlich auch vom anderen jury-team, das nicht die reguläre kategorie des cases bewertet hat (mod/con/CE), mitbewertet, aber eben nicht das gesamte case, sondern nur das was "movet" (das haben wir gemacht, weil die move-bewertung schneller geht als die reguläre bewertung und mehr juroren eben eine bessere statistik ergeben)..

feco72

Fühlt sich wohl hier

Posts: 338

Date of registration: Feb 4th 2013

Location: Szentes, Ungarn

Thanks: 20

  • Send private message

10

Friday, August 29th 2014, 12:18pm

It's very interresting, thanks!

Similar threads