Neues YUNA Release

Neues YUNA-Release

Agile Softwareentwicklung ist in aller Munde – auch wir haben uns dem agilen Manifest verschrieben. Im engen Austausch mit unseren Kunden und durch die Erfahrungen, die wir in unseren Projekten sammeln, entwickeln wir YUNA in kurzen Sprints kontinuierlich weiter. Ein schönes Zeichen, gerade auch in Zeiten von Corona, wenn das Team so gut zusammenspielt und es schafft die selbstgesetzte Roadmap zu verfolgen!

Mehr Informationen rund um YUNA? Klicken Sie hier!

1.26

YUNA wird noch sicherer

Der funktionale Kern von YUNA, unsere CORE-API, wurde noch weiter gehärtet. Ab sofort haben alle Rollen, mit Ausnahme der System-Admins, eine reine Leseberechtigung. So lassen sich gleichzeitig alle Prozesse weiterhin einsehen, sind aber vor Änderungen gesichert.

Die CORE-API steuert alle zentralen Vorgänge in YUNA. Mit ihr lassen sich die einzelnen Module wie Nutzerverwaltung, Analysejobs, die Eventrigger und Authentifizierungen steuern.

Link zur Dokumentation

YUNA wird einfacher

In der neuen Version haben wir u.a. den Skriptmanager vereinfacht. Analyseskripte können nun nach den Namen gefiltert werden. Ferner werden die YUNA-Standardfilter nicht mehr aufgelöst dargestellt, was die Übersicht deutlich verschlank.

Für die Funktion der „GenLinks“ gibt es nun eine dedizierte Option, ob diese Links in einem neuen Tab oder dem aktuellen Fenster geöffnet werden sollen.

Link zur Dokumentation

Data Scientists und Anwender rücken noch näher zusammen

Die Weichen für die neue Messenger-Funktion sind gestellt. Mit ihr lassen sich nicht nur Systemnachrichten empfangen, die Anwender können sich auch innerhalb von YUNA direkt Informationen als Nachricht zukommen lassen. Dadurch entfällt das Wechseln auf Drittanwendungen, um sich auszutauschen und/oder Informationen weiterzugeben.

In der aktuellen Version ist die Schnittstelle bereits implementiert und lässt sich in der Konfigurationsdatei aktivieren.

1.25

Modelle trainieren im Vorbeigehen

Trainingsdaten zu erzeugen war bis heute eine große Herausforderung. Mit YUNA geschieht dies nun im Vorbeigehen. In jedem Dashboard kann das Result Rating direkt eingebunden werden. Somit hat der Nutzer an Ort und Stelle der Ergebnispräsentation die Möglichkeit durch Bewerten der Ergebnisse Traininsdaten zu erzeugen. Ihre Ergebnisse verbessern sich deutlich durch die bessere Datengrundlage, wenn sie diese in Supervised Models wieder aufgreifen.

Staging und Model-Deployment über Git-Branches

Ein Automatisiertes Deployment der Analyse-Skripte wird in YUNA mit einem angebundem Git-Repository verwirklicht. Nun ist es möglich einen bestimmten Branch festzulegen. Somit können über die verschiedene Branches verschiedene Stages (Development, Test, Productive) oder auch das Deployment verschiedener Modelle auf unterschiedliche YUNA Instanzen realisiert werden.

Bessere Planbarkeit: Analysen immer im Blick behalten

Was ist mit meiner Analyse geschehen, die um 11:00 Uhr starten sollten? Wieso finde ich sich nicht im Log? Diese und andere Fragen haben wir mit einer neuen Komfort-Funktion beantwortet. Bei komplexen Zusammenhängen können Analyse-Jobs z.B. durch Abhängigkeiten zu anderen Jobs zu anderen Zeiten starten als ursprünglich geplant.
In der neuen Version zeigt die System-Übersicht nun den geplanten sowie den tatsächlichen Start jedes einzelnen Analyse-Jobs, um somit die Wartung der YUNA Instanz besser planen zu können.

1.24

YUNA meets Git: Git Repo mit YUNA synchronisieren

Skripte für produktive Analyse-Jobs werden von YUNA verwaltet. Ob für ETL, Datenaufbereitung, ML-Modelle oder Visualisierungen: Anpassungen an den Skripten sowie deren Ergebnissen – zum Beispiel durch den Input von Fachanwendern oder Endnutzern – sollten durch eine gute Dokumentation jederzeit nachvollziehbar sein. Ab YUNA 1.24 ist es nun möglich, ein Git-Repository anzubinden und mit YUNA zu synchronisieren.

YUNA-Nutzer können so – je nach ihrer Berechtigungsstufe – auf das Git-Repo der Data-Scientists zugreifen und Skripte für die jeweiligen Phasen eines Workflows von Entwicklung über Test bis Produktiv deployen. Durch die Git-Integration in YUNA werden anspruchsvolle Szenarien für das Deployment von Data-Science-Skripten weniger fehleranfällig und deutlich einfacher und schneller umzusetzen.

Link zur Dokumentation

Übersicht der wartenden Analyse-Jobs

In YUNA kann der Nutzer die Ausführung jeder Analyse in Analyse-Jobs zeitlich festlegen. Dabei steuert YUNA automatisch die Einreihung der jeweiligen Skripte in einem Zeitplan. Ab YUNA 1.24 wird der exakte Startzeitpunkt eines eingereihten Jobs dargestellt. Durch die Verbesserung der Nachvollziehbarkeit kann z.B. das Update oder ein Neustart einer YUNA-Instanz besser geplant werden, ohne dass der Durchlauf eines relevanten Analyse-Jobs dadurch abgebrochen wird.

Übersicht über Jobs in der Warteschlange in YUNA

Link zur Dokumentation

Job-Status für einfacheres Debugging

Ein Analyse-Job durchläuft in seinem ggf. sich zyklisch wiederholenden Lebenszyklus verschiedene Phasen wie SCHEDULED, START, FINISHED, CANCELLED. YUNA 1.24 zeigt nun jederzeit die Phase an, in der sich ein Job befindet. Dadurch werden die Fehlersuche und das Debuggen eines Skriptes während der Entwicklung einer Analyse vereinfacht.

Automatisches Scriptlog-Cleanup

YUNA bietet in den Systemeinstellungen die Möglichkeit, optionale zyklische Routinen für das System zu definieren. Diese wurden in YUNA 1.24 um eine weitere Aktion erweitert, die es dem Administrator ermöglicht, die erzeugten Logs von Analyse-Skripten in einem definierten Zeitfenster zu bereinigen. Somit werden System-Ressourcen geschont und die Übersicht gesteigert.

Link zur Dokumentation

Vereinfachte Dashboard-Entwicklung mit YUNA-ML

In YUNA wird ein Dashboard durch die an XML angelehnte YUNA-eigene Beschreibungssprache YUNA-ML definiert. Zur Veröffentlichung wird das jeweilige Skript geparsed, validiert und das Ergebnis schließlich geloggt. Das Logging wurde nun überarbeitet und übersichtlicher gestaltet, um das Entwickeln von Dashboards zu vereinfachen.

Link zur Dokumentation

2020

Mehr erfahren

1.23

Automatisches Leeren von Log-Einträgen

Durchgehendes Monitoring von Analysen und trotzdem den Überblick behalten: YUNA bietet umfassendes Logging während der gesamten Datenanalysen. Damit nehmen diese Einträge keine Überhand nehmen und die Übersicht geht nicht verloren geht, kann nun ein wählbarer Zeitraum gewählt werden, nach dem Log-Einträge automatisch gelöscht werden.

Link zur Dokumentation

Abrufen von Jobparametern einer Instanz

Wie ist meine YUNA-Instanz konfiguriert? Lassen Sie sich alle relevanten Informationen aus der Datenbank anzeigen.
Natürlich kann man die diese Informationen auch über ein das Tabellen-Widget direkt in einem YUNA-Dashboard anzeigen lassen.

Link zur Dokumentation

„YUNA Support“ -Eintrag konfigurieren

Die Sichtbarkeit des Support-Buttons kann nun über eine entsprechende Änderung für Nicht-Administratoren konfiguriert werden.

Link zur Dokumentation

1.21

Vereinfachte Zeitplanung von Analysen

In diesem Release haben wir die zyklische Ausführung von Analyseskripten erheblich vereinfacht. Was hat sich konkret geändert? Die Zeitpunkte der Analysen lassen sich nun ganz intuitiv zu gewünschten Zyklen zusammenstellen. So lassen sich beispielweise auch wiederkehrende Wartungsfenster und andere Ereignisse bereits von Anfang einplanen, sodass diese nicht mehr mit wichtigen Aufgaben kollidieren

Link zur Dokumentation

1.21 – „Technical Overhaul“

Ein neuer Imageviewer

Wir haben das Widget „Imageviewer“ in YUNA komplett überarbeitet. Mit dem Widget lassen sich in Datenbanken gespeicherte Bilder direkt in YUNA anzeigen. Bei den Bildern kann es sich beispielsweise um Fotografien oder automatisierte Visualisierungen von Analysen handeln. Neben der Überarbeitung des User Interface, besitzt der Imageviewer weitere hilfreiche Features.

Link zur Dokumentation

Mehrere Wartungsfenster

Bei der Wartung, z.B. im Kontext eines Predictive Maintenance – Systems ist es nötig, dass bereits geplante Analyse-Jobs (z.B. auszuführende Analyseskripte) von der geplanten Ausführung gestoppt werden. Mit diesem Release haben wir die Möglichkeit geschaffen, die Wartungsfenster noch komfortabler zu planen. Beliebig viele Wartungsfenster können individuell über Dashboards erstellt werden. Dadurch lassen sich Wartungen (z.B. an Maschinen oder Servern) nun noch einfacher planen.

Link zur Dokumentation

1.20a

Gruppenfilter für Teams

In diesem Sprint haben wir das Filter-System von YUNA für effektive Teamarbeit optimiert. Nach wie vor gibt es private und globale Filter, also solche, die ein User nur selbst verwendet und solche, die er mit allen anderen Nutzern teilt. Neu hinzugekommen sind Gruppenfilter, also Filter, die einem definierbarem Team gehören und von diesem nicht nur verwendet, sondern auch editiert werden können. So können auch Gruppen von Nutzern genau die Filter sehen und bearbeiten, die sie benötigen.

Übergabe der aktuellen URL-Parameter bei Links (genLink)

Um Dashboard-Entwicklern mehr Flexibilität bei der Widget-Gestaltung zu bieten, haben wir die Konfiguration von genLinks so erweitert, dass die aktuell aktiven URL-Parameter zusätzlich zu den explizit konfigurierten Parametern übergeben werden können.

Interessante Links zum Release

1.20

Damit Datenprodukte noch schneller entwickelt und eingesetzt werden können, wird YUNA stetig weiterentwickelt. In diesem Sprint haben wir die Weichen für ein neues Feature gesetzt:

Mit der kommenden Git-Integration wird es möglich sein, Skripte direkt aus Git heraus in YUNA zu importieren. Durch diese Funktion können Data-Science-Projekte schneller und sicherer entwickelt und gestartet werden

1.19

Wir haben die Zeit genutzt, um das Tabellenwidget zu optimieren:

Im Tabellenwidget werden, unter Verwendung der Option „addColumns„, NULL-Werte nicht mehr als NaN angezeigt. Die Option „addColumns“ dient dazu dynamisch Spalten, die im Ergebnis einer Query zurückgeliefert werden, zur Tabelle hinzuzufügen.
Dynamisch zugefügte Spalten, die durch „addColumns“ zugefügt wurde, werden nun automatisch entfernt, sobald sich diese nicht mehr im neuen Datensatz befinden. Die Änderung betrifft Datensätze die beispw. durch ein Query entsprechend geändert wurden.
Unter bestimmten Konfigurationen war der Export verfügbar – wurde aber nicht durchgeführt. Das Verhalten des Widgets wurde so angepasst, dass es den Erwartungen der Nutzer entspricht.
Bei Generierung eines Charts aus einer Tabelle heraus, wurde in seltenen Fällen fälschlicherweise angezeigt, dass keine numerische Spalte für den Chart verfügbar sei. Dies wurde behoben.

1.18

Mit Version 1.18 sind neue Features hinzugekommen:

dseconnect als REST-API

dseconnect ist ein Connectivity-Paket für R, mit dem die Interaktion zwischen Skripten und YUNA hergestellt werden. Es bietet verschiedene Komfortfunktionen wie beispielsweise die Nutzung von DataIDs und Filtern. Wir haben das Paket erweitert, so dass nun auch beliebige REST-APIs von Fremdsystemen angesprochen werden können, um deren Ergebnisse in YUNA zu verwenden und darzustellen.

Es kann sich via REST-API gegen das System authentifiziert werden
DataIDs können via REST abgefragt werden und deren Ergebnisse gespeichert werden
Via REST-API kann auf Filter zugegriffen werden

Der weiterführende Link zur dseconnect-API-Dokumentation finden Sie hier!

Globales deaktivieren automatischer Analyse-Jobs

Automatische Analyse-Jobs können nun global deaktiviert werden. Dadurch kann im Fehlerfall die Ursachensuche deutlich erleichtert werden.

Im Systeminfo-Widget (de-)aktivierbar
Zeitgesteuerte Jobs werden nicht mehr gestartet
Manuelle Jobs werden weiterhin gestartet
Bereits laufende Jobs werden nicht abgebrochen

Sowie kleinere Änderungen und Bugfixes.

1.17

Mit Version 1.17 sind neue Features hinzugekommen:

Escaping in genLinks

Mit genLinks erstellen Sie in Tabellen-Widgets dynamische Hyperlinks. Hierbei können die Bausteine einer URL ganz individuell zusammen gesetzt werden. Um eine gültige URL zu erzeugen haben wir eine zusätzliche Funktion eingebaut um die Kodierung von bestimmten Sonderzeichen und Zeichenketten zu verhindern. Dies kann mit einem vorangehendem Backslash („\“) bewirkt werden.
Mehr erfahren!

Entfernen von YUNAML-Inhalten unter Referenz-Tags

Dashboards in YUNA werden während der Entwicklung häufig unter einem Referenz-Tag deployed, um die Sichtbarkeit für bestimmte Nutzergruppen einzuschränken. Wir haben einen Mechanismus eingebaut, um diese Inhalte aus der Datenbank zu entfernen, sobald diese z.B. veröffentlicht wurde und daher nicht mehr benötigt wird.
Mehr erfahren!

Parameter zur autom. Anmeldung an Zielservern bei CORS-Requests

Der HTTP-Provider ermöglicht es HTTP-Schnittstellen in YUNA-Dashboards zu integrieren und somit Daten von externen Services in Dashboards einzubinden oder umgekehrt die Daten aus einem Dashboard an diese zu senden. Der Parameter ‚unsafeCredentialDelegation‘ des HTTP-Providers erlaubt es die automatische Anmeldung an Zielservern bei CORS-Requests zu aktivieren.Standardmäßig verbietet eine Browserrichtlinie die automatische Anmeldung bei einem CORS-Request.
Mehr erfahren!

Sowie kleinere Änderungen und Bugfixes.

1.16

Unterschiedliche Datenbankzugriffe aus verschiedenen Sachverhaltstypen

Je Sachverhalt kann die zu verwendende DataSource ausgewählt werden, um die Datenbankanfragen restringieren zu können.

Verschlüsselte Connections auf Daten-DBs

Alle Client-Verbindungen aus dem YUNA-Produktumfeld können so konfiguriert werden, dass sie nur noch über verschlüsselte Verbindungen erfolgen.

JQuery im HTML-Widget

Es ist möglich, JQuery im HTML-Widget einzubinden.

2019

Mehr erfahren

Dezember 2019 – 1.14

HTTP-Provider

Neue YUNAML-Komponente, die die Einbindung von externen HTTP-APIs in Dashboards ermöglichen.

Erweitertes Logging

Die Ausgabe von bestimmten Returnwerten aus Funktionsaufrufen im Skriptlog wird nicht mehr unterdrückt

November 2019 – 1.13

Shiny-Widget-Authentifizierung in YUNA

Mithilfe des iFrame-Widgets ist jetzt möglich, Shiny Apps einzubinden. Genauer gesagt, ist es Shiny-Apps jetzt möglich auf Daten, die in YUNA vorliegen, zuzugreifen und diese zu nutzen. Die Authentififizierung über YUNA ermöglicht es so, mit den Rollen- und Rechten den Zugriff der Shiny-App zu konfigurieren.

Result Rating: Bewerten von Analyseergebnissen per Tastendruck

Mit dem Result Rating ist im letzten Sprint ein wichtiges und komfortables Werkzeug entstanden, welches das Analysieren bzw. die Ergebnisse in noch kürzerer Zeit verbessert. In dem Moment, in dem Analyseskripte ihre ersten Ergebnisse liefern, können diese über das Result Rating noch schneller bewertet und auf Richtigkeit überprüft werden. Die Ergebnisse daraus, werden dann dem Skript zurückgespielt, sodass Data Scientists ihre Skripte entsprechend anpassen können. Dieses Feature verkürzt die bisherige branchenübliche Vorgehensweise enorm.
In der neuen Version wurde die Nutzung noch entscheidend verbessert: Das Bewerten der Ergebnisse kann nun bequem und noch schneller per Tastatureingabe erfolgen. Die Belegung der Tasten ist dabei frei wählbar und kann von jedem Nutzer entsprechend der Vorlieben eingestellt werden.

Formular-Widget: Daten können an eine Stored Procedure übergeben werden

Ab jetzt ist es möglich, die Daten, die über das Formular-Widget gesendet werden, an eine Stored Procedure zu übergeben. Mit Stored Procedures können zuvor festgelegte Abläufe und mehrere Anweisungen vom Datenbank-Client aufgerufen werden. Der Dashboard-Entwickler hat somit die größtmögliche Freiheit Eingaben des Benutzers in das System zurück zu spielen, um diese z.B. in weiteren Analysen nutzen zu können.

Lokalisierung erweitert

Es ist jetzt möglich, den Inhalt von CDATA-Blöcken, Popups, allen Tooltipps und Items im Filter-Widget zu übersetzen. CDATA-Blöcke verhindern, dass der Parser Sonderzeichen wie „<“ interpretiert.
Unsere Lokalisierung löst diesen Block auf und ermöglicht die Übersetzung dessen Inhalts.

Sonderzeichen in gesourcten Objekten

Die Verwendung von Sonderzeichen in den Namen von Parametern im HTML-Widget führte im Skriptmodus zu Fehlern. Nun können auch Sonderzeichen, wie z.B. „_“ zur Benennung von HTML Parametern im Skriptmodus genutzt werden.