Zitat von Anno-Union

Hey Anno-Community,

Da der Technical Test (kurz: TT) für den „Dächer der Stadt“-DLC (für den wir gerade eine weitere Welle von Einladungen verschickt haben) gerade läuft, denken wir, dass es ein guter Zeitpunkt ist, um über Technical Tests für Anno im Allgemeinen zu sprechen: Warum machen wir sie? Wie fortgeschritten ist die Version für diese Playtests? Wie arbeiten wir mit dem Feedback, das wir erhalten?

Lest weiter, um genau das herauszufinden.

Was genau ist ein Technical Test

Was wir einen „Technical Test“ nennen, ist ein größerer Playtest, bei dem Leute eine frühe Version eines kommenden Updates und/oder DLCs spielen können. Diese Tests sind größer als Fokustests oder Diary Studies, die jeweils mit deutlich kleineren Gruppen von Spielern stattfinden. Für die Diary Studies werden die Spieler anhand von bestehenden Profilen handverlesen (ihr könnt euch hier anmelden, um potentiell Teil der Liste zu werden) und müssen außerdem täglich Umfragen mit Fragen des Teams ausfüllen. Mit diesen versuchen wir, Feedback zu ganz bestimmten Punkten zu bekommen.

Im Vergleich dazu können die Spieler während eines Technical Tests dank eines Forums untereinander über die neuen Inhalte diskutieren und sich gegenseitig helfen. In der Regel kann sich jeder zu diesen Playtests anmelden (obwohl wir die Teilnehmerzahl meist begrenzen) und das Ziel ist es, ein breiteres Feedback von der Community zu erhalten.

Unsere Vorbereitungen für den Technical Test

An den Vorbereitungen für einen Technical Test sind mehrere Teams innerhalb von Ubisoft beteiligt. Zuerst planen wir intern einen TT auf Basis unserer Produktions- und Releasepläne und setzen uns dann mit diesen anderen Teams in Verbindung.

Dazu gehören zum Beispiel die Ubisoft-Teams, die sich um den Anmeldeprozess und die Registrierungswebsite kümmern, die Einladungs- und Bestätigungs-E-Mails und natürlich die Weiterleitung der endgültigen Teilnehmerliste, damit ihr Zugang zur Testversion und zu den Foren erhaltet.

Apropos Version: Für uns bedeutet das, dass wir eine stabile Version für den Test vorbereiten, diese prüfen und bekannte Probleme dokumentieren müssen. Mehr dazu weiter unten.

Schließlich gibt es noch die Kommunikation, die vorbereitet werden muss, sei es in der Anno Union oder in den speziellen Foren.

All das bedeutet, dass wir eine Reihe von Meetings abhalten, bevor der Technical Test endlich starten kann.

Wie weit fortgeschritten ist die Version (wie wir es nennen: der Build) für einen solchen Technical Test ?

Generell streben wir eine Version an, die weitestgehend „feature complete“ ist, d.h. die neuen Inhalte sind bereits komplett spielbar, die Systeme funktionieren und auch die meisten Art-Assets sind fertig. Dafür müssen alle Teams hart arbeiten, um eine solche stabile Version (sie kann Bugs und einige technische Probleme haben, aber keine größeren Probleme) mehrere Wochen vor der eigentlichen öffentlichen Veröffentlichung der Inhalte fertig zu stellen.

Während die neuen Mechaniken im Grunde drin sind, fehlen noch viele andere Dinge oder sind zumindest unvollständig: Die Version des Technical Tests enthält in der Regel noch keine Lokalisierungen, d.h. alle neuen Inhalte sind nur auf Englisch verfügbar. Auch Sound und Musik können teilweise noch fehlen, ebenso wie Beschreibungen und Tooltips für neue Gebäude und Mechaniken. Art-Assets können teilweise noch kleinere Fehler oder Unregelmäßigkeiten haben („unpolished“), und auch die Balance ist meist noch nicht final.

Auf der technischen Seite ist die Version noch nicht vollständig optimiert, und es gibt jede Menge Bugs (bekannte, die noch behoben werden, und neue, die wir selbst noch nicht gefunden haben), darunter auch potentielle Blocker, die euch z.B. daran hindern könnten, eine Questreihe zu beenden.

Wie nutzen wir das Feedback aus einem solchen Playtest?

Wie am Anfang des Artikels erklärt, nutzen wir ein Forum, um Feedback und Fehlerberichte zu sammeln. Vor dem Start des Technical Tests stellen wir in der Regel ein Team aus Mitgliedern von QA, Game Design, Community und Support zusammen, das das Forum im Auge behält. QA und Support prüfen und reproduzieren gemeldete Bugs (für die wir in der Regel Savegames, Screenshots etc. anfordern) und übertragen sie in unser internes System (wir verwenden dafür, wie viele andere auch, JIRA) zur weiteren Untersuchung.

Das Feedback zu bestimmten Features, der Balance und mehr wird von Game Design und Community gesammelt und anschließend im Design-Team diskutiert.

Normalerweise schauen auch Mitglieder aus anderen Teams von Zeit zu Zeit in die Foren, auch wenn sie keinen „Forumsdienst“ haben – sei es aus reiner Neugier oder weil sie sehen wollen, ob es Feedback zu einem bestimmten Feature gibt, an dem sie gearbeitet haben (z.B. Art, die wissen wollen, was unsere Spieler von den neuen Wolkenkratzern halten).

Nach teaminternen Diskussionen (z.B. Game Design, das prüft, welche Auswirkungen eine bestimmte Balance-Änderung hätte) folgen Diskussionen mit anderen Teams, die ebenfalls etwas ändern müssen, z.B. UI oder Programmierung. Die meisten Verbesserungswünsche oder Features, die wir als Feedback erhalten, sind Themen, die die Arbeit von verschiedenen Teams erfordern.

Anschließend muss unser Produktionsteam den Aufwand für Änderungen und Verbesserungen, die die Teams noch vornehmen wollen, abschätzen und dabei die verbleibende Zeit bis zur Veröffentlichung des DLCs im Auge behalten. Das kann knifflig sein, da der Playtest spät genug stattfinden muss, dass der Großteil der Inhalte bereits fertig ist, aber früh genug, damit wir bis zur Veröffentlichung noch Zeit haben, auf Feedback und Fehlerberichte zu reagieren.

Habt ihr bereits an vergangenen Playtests für Anno 1800 teilgenommen? Oder habt ihr noch Fragen, die im Blog nicht beantwortet wurden? Lasst es uns in den Kommentaren wissen!

Alles anzeigen

Nun, ich habe ja selber an einigen Tagebuchstudien (Diary Studies) selbst teilgenommen. Im Gegensatz zum Technical Test, bei dem man "nur" in einem separaten Forum seine Meinung, Erfahrungen und Bugs schreibt, ansonsten auch spielen kann wenn man "Lust und Laune hat" (natürlich sollte man da auch fast jeden Tag spielen), sind die Tagebuchstudien wesentlich anstrengender. Die Studien laufen in einer Zeit von einer Woche bis 14 Tage, in dieser Zeit sollte man jeden Tag mindestens 2 Stunden spielen. (Natürlich ist dies der Idealfall und es kann immer etwas dazwischen kommen. Wenn man aber schon im Vorfeld sieht, man bekommt es zeitlich nicht geregelt, dann sollte man auch die Finger davon lassen. Die letzte Einladung zum Tourismus-DLC musste ich auch aus zeitlichen Gründen absagen.) Damit ist die Arbeit aber nicht getan, anschließend darf man noch einen Report, welcher rund 4 Seiten mit Fragen zum Spiel umfasst, ausfüllen. Insofern kann man auch nicht gemütlich vor sich hin zocken, sondern schon recht aufmerksam spielen. Zum Abschluss gibt es dann noch einen größeren Report, den man ebenfalls ausfüllen darf. Auch wenn es sicher interessant ist neue Inhalte vorab zu testen und zu sehen, es ist auch ein gehöriges Stück an Arbeit.