Swiss Testing Night 19. Mai in Bern
20.05.2016 AKROS AG, © 2010 | www.akros.ch 1
Testdatenmanagement
Let’s work together
20.05.2016
Testdatenmanagement
Let’s work together
Dragan Kinkela Samuel Mischler
AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch
Agenda
AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch
20.05.2016 3
Gefahren ohne Testdaten-Management
Testdaten Anforderungen
Testdaten Management
Tools
Testdaten Manager
Kundennutzen
Gefahren ohne Testdaten- Management?!?
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 4
Gefährdete Daten-Sicherheit
Verletzung des Datenschutzgesetzes, Regulatorien
Gefährdung der Kundenintegrität
Gefährdung der Firmenintegrität
Gefährdung der Firmengeheimnisse
Unklare Rollen und Verantwortlichkeiten
Ungenügende Skills für sachgemässen TDM Betrieb
Ungenügende Tools, Methoden und Vorgehen
Suche nach geeigneten Testdaten nur mit hohem Aufwand
Grosse technische Herausforderungen
Viele Defects wegen schlechten Testdaten
Schlechte Effizienz, hohes Verlustrisiko
Tiefe Effizienz in Entwicklung, Testing und Betrieb
Schlechte Wirtschaftlichkeit, no «Time to Market»
und Weiteres mehr!
Schwächen bei heutiger Vorgehensweise
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 5
Let’swork together
Schäden durch unsachgemässes TDM
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 6
Testdatenanforderungen
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 7
Testdatenanforderungen
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 8
Was ist Testdatenmanagement?
Testdatenmanagement ist eine Ansammlung an Anforderungen,
regulatorischer und organisatorischer Regelungen, Lösungsansätzen und Werkzeugen die zum Ziel haben das Testdatenmanagement-
Problem bei ALM und Testprozessen zu lösen.
• ASQF Testdatenmanagement Arbeitsgruppe
Definition Testdatenmanagement
AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch
20.05.2016 9
Let’s work together
IST-Situation heute bei 90% der Firmen
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 10
Beispiel ohne Testdatenmanagement
20.05.2016 AKROS AG, © 2010 | www.akros.ch 11
Um Neukunden zu erfassen brauchen wir ein
Erfassungsformular für Kundenersterfassung.
Folgende Daten sind zu erfassen:
1. Name
2. Vorname 3. Strasse
4. PLZ
5. Ort 6. Telefon 7. Email
Alle Neukunden müssen über dieses Formular erfasst werden. Die bestehende Applikation muss uns Suche und Sortierung nach ABC und/oder Land ermöglichen.
Aufgaben Zeit
• Analyse 3
• DB Tabelle 2
• Services und Classen 2
• Dev. Formular 8
• Dev. Testdaten 1
• Unit Testing 4
• Developer Testing 2
Total 22
Aufgaben Zeit
• Test Cases Analyse 1
• Test Cases Design 2
• Testdaten Development
2
• Testing 3
Defect melden:
• Folgende Namen können nicht erfasst werden:
Sørensen, 山本耀司, Людмила und…
Total 8
Aufgaben Zeit
• Analyse 2
• Definition 2
• Dokumentation 2
Total 6
Aufgabe Zeit
• Re-Test 3
• Regressionstest 3
Total 6
Aufgaben Zeit
• Analyse 0.30
• Implementierung 3
• Unit Testing 1
• Developer Testing 1
Total 5.5
Problem Encoding = Verlust 14,5 Stunden x 100 € = 1450 €
Beispiel mit Testdatenmanagement
20.05.2016 AKROS AG, © 2010 | www.akros.ch 12
Um Neukunden zu erfassen brauchen wir ein
Erfassungsformular für Kundenersterfassung.
Folgende Daten sind zu erfassen:
1. Name
2. Vorname 3. Strasse
4. PLZ
5. Ort 6. Telefon 7. Email
Alle Neukunden müssen über dieses Formular erfasst werden. Die bestehende Applikation muss uns Suche und Sortierung nach ABC und/oder Land ermöglichen.
Aufgaben Zeit
• Analyse 3
• DB Tabelle 2
• Services und Classen 2
• Dev. Formular 8
• Unit Testing 4
• Developer Testing 2
Total 21
Aufgaben Zeit
• Test Cases Analyse 1
• Test Cases Design 2
• Testing 3
Total 6
Aufgaben Zeit
• Analyse 2
• Definition 2
• Dokumentation 2
Total 6
Aufgaben Zeit
• TD Analyse 0.30
• TD Definition 0.30
• TD Generierung 1
Total 2
Testdaten Basisklassen Testdaten Basisklassen
Die gleiche Testdaten Basisklassen 1. Mehrere Sprachen Encoding
2. Mehrere Namen mit Umlaute 3. Mehrere Adressen
a) Adressenformate 4. Mehrere Telefon Formaten 5. Mehrere Email
a) Mehrere Email Formate
TD sind standardisiert – Wiederverwendbar – Konstante Qualität
Auftrag-034
Teste, ob ein Lieferposten erzeugt wird, wenn die Artikelmenge unter die Mindestmenge fällt.
Kunde ist vorhanden und kreditwürdig, hat mindestens 2 Bestellungen in letzten 12 Monaten getätigt.
Testfallargumente:
Kundenauftrag:
Kundennummer = Passend zur Anforderung Kundenname = Passend zum Region und Maskiert Kundenadresse = Passend zum Region und Maskiert Bestellpostennr. = 2
Bestellposten = (2)
Artikelnummer = 3211 oder 2459 - 2464 Bestellmenge = mindestens 7
Artikel:
Artikelnummer = 3211 oder 2459 - 2464 Artikelmenge = mindestens 14 maximal 17 Mindestmenge = mindestens 10 maximal 15 Liefermenge = mindestens 50 maximal 55
Testdatenauftrag
20.05.2016 AKROS AG, © 2010 | www.akros.ch 13
Testfallergebnisse:
Kundenauftrag:
Meldung: „Artikel 3211 oder 2459 - 2464 bestellen“
Artikel. Artikelmenge = mindestens 7
Lieferposten. Artikelnummer = 3211 oder 2459 - 2464 Liefermenge = mindestens 50 maximal 55
Datum = Current_Date
TD Extrahierung
20.05.2016 AKROS AG, © 2010 | www.akros.ch 14
Unterschätzte TD Kosten
20.05.2016 AKROS AG, © 2010 | www.akros.ch 15
Umsetzung Level 1: Level 1 mit folgenden Verbesserungen:
Herausforderungen der Stufe 2 mit folgenden Verbesserungen:
Herausforderungen Stufe 3 Prozesse + zusätzliche Reife:
Alles in Stufe 4 +:
Die Testdaten werden aus der Produktion kopiert
Einige Test DB sind Subsets.
Die Testdaten werden mit Hilfe eines Tools erstellt.
Die Testdaten können reserviert werden
Eine TDM Strategie auf Unternehmens-Ebene Umfangreiche Verwendung
von Produktionsdaten für End-to-End-Tests
Testdaten sind für das schnelle Testing vorbereitet.
Persönliche Daten sind Testdatenbanken und anderen Testsystemen entfernt.
Testdaten Abdeckungsgrad, Statistik und Status bekannt.
TDM ist in der Organisation verankert und wird aktiv ausgeübt.
Die Testdaten werden manuell von Testern erstellt bzw. selektiert!
Persönliche Daten von Kunden sind aus einigen Test DB’smaskiert oder entfernt. HD-Kosten sind initial reduziert.
Die Testdaten werden in Testplänen explizit definiert.
Alle Tests sind mit erstellten Testdaten erfolgreich
durchgeführt.
Virtualisierung von Testumgebungen und Bereitstellung von Testdaten werden als Teil der
Qualitätsprozesse betrachtet.
- Gefährdet ist die Daten- Sicherheit
- Verletzung des Datenschutzgesetzes - Kundenintegrität - Geschäftsgeheimnisse
Möglichkeit «Test Data on Demand»
Funktionalitäten zu benutzen.
TDM wird als eigene Stärke erkannt
Ein TDM-Team ist etabliert!
Continuous
Development Framework wird aktiv gelebt.
Testdatenmanagement Maturity
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 16
Aus der Sicht der Technik
20.05.2016 AKROS AG, © 2010 | www.akros.ch 17
Testdatenmanager
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 18
Administr- ators
System
specialist Developer App- Owners
Infra-
structure Business
Legal Regulations Projects Maintenance Deployment Business
Kundennutzen
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 19
Reduced test data size
Faster time to market
Increased test data coverage
Higher SW quality
Increased test coverage Satisfying all regulatory needs
Satisfying all legal requirements Increased productivity
Earlier detection/resolution of defects
Supporting offshore/outsourcing strategy
Better knowledge management Standardized processes
Protected client data
Limited insider trading
Protected business secrets
Ihr Ansprechpartner:
Dragan Kinkela Samuel Mischler
Mobile +41 76 579 16 41 Mobile +41 79 555 92 61
dragan.kinkela@akros.ch samuel.mischler@spf-consulting.ch
Vielen Dank für Ihr Interesse!
AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch
20.05.2016 20
Rechte / Regulatorien
20.05.2016 AKROS AG, © 2016 | www.akros.ch SPF Consulting | www.spf-consulting.ch 21