Empfehlungssysteme für das Requirements Engineering

Eine systematische Mappingstudie

Kamal Chamkh, Erik Kamsties Fachhochschule Dortmund

{erik.kamsties@fh-dortmund.de, kamal.chamkh@stud.fh-dortmund.de}

Empfehlungssysteme für das

Requirements Engineering

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Motivation

▪ Anforderungen an Softwaresysteme zunehmend umfangreicher und komplexer

▪ Empfehlungssysteme im RE (Beispiele)

• Anforderungsermittlung, -analyse und -modellierung

o

Wiederverwendung von Anforderungen für Produktlinien

[Cheema et al., 2020], Produktkonfiguration [Wicaksono et al., 2012]

o

Beziehungen zwischen Anforderungen [Samer et al., 2019]

o

relevante Anforderungen identifizieren, Tipps zur Qualität geben [Palomares et al., 2018], OpenReq-Projekt deckt noch mehr ab ...

• Anforderungsverwaltung

o

Priorisierung von Anforderungen und Stakeholdern [Matthieu et al. 2014]

o

passende RE-Aktivitäten und -Techniken anhand Projektmerkmale (wie Projektgröße, verfügbare Zeit) empfehlen [Kristantya et al., 2017]

o

Auswirkungen von Anforderungsänderungen [Udsanee et al., 2016]

Anwendungsbeispiel TAPFREE

Anwendungsbeispiel TAPFREE

• Weitere Beispiele finden sich auf openreq.eu

Motivation und Ziele

▪ verschiedene Studien über den Einsatz von Empfehlungssystemen im RE

▪ Vor acht Jahren letzte systematische Mappingstudie [Mohebzada et al., 2012]

▪ ^Ziele:

• aktueller Stand der Forschung überblicken

• Forschungslücken aufdecken

• neue Forschungsaspekte identifizieren

Forschungsfragen

Abkürzung Forschungsfrage

F1 Wie sieht die Verteilung der Publikationen von 2011 bis zum Zeitpunkt der Recherche aus?

F2 Welche Empfehlungstechniken wurden in Bezug auf RE-Aktivitäten am häufigsten untersucht?

F3 Welche Empfehlungselemente für das RE wurden am häufigsten untersucht?

F4 Wie ist der Validierungsstatus der für das RE untersuchten Empfehlungssysteme?

F5 Welche Bewertungsmetriken wurden in den Studien

angewendet?

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Empfehlungssysteme – Arten [Jariha et al. 2018]

Empfehlungs-

systeme Beschreibung

Inhaltsbasierte (CBF)

- auf Basis in der Vergangenheit präferierten Items - Berechnung mithilfe von Ähnlichkeitsmaßen

Kollaborative (CF)

- auf Basis Bewertungen anderer Nutzer

- z. B. Clustering, Künstliche neuronale Netze Wissensbasierte

(KBS)

- Domänenwissen miteinbezogen

- Nutzerspezifikationen und Regeln in einer Wissensdatenbank

Hybride - Kombination von zwei oder mehr

Empfehlungssysteme

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Vorgehen

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

[Petersen et al., 2008]

Vorgehen

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Vorgehen

Vorgehen

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ Verwandte Arbeiten

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Ergebnisse

F1 – Wie sieht die Verteilung der Publikationen von 2011 bis

zum Zeitpunkt der Recherche aus?

Ergebnisse

F1 – Wie sieht die Verteilung der Publikationen von 2011 bis

zum Zeitpunkt der Recherche aus?

Ergebnisse

F1 – Wie sieht die Verteilung der Publikationen von 2011 bis

zum Zeitpunkt der Recherche aus?

Ergebnisse

F1 – Wie sieht die Verteilung der Publikationen von 2011 bis

zum Zeitpunkt der Recherche aus?

Ergebnisse

F1 – Wie sieht die Verteilung der Publikationen von 2011 bis

zum Zeitpunkt der Recherche aus?

Ergebnisse

F2 – Welche Empfehlungstechniken wurden in Bezug auf RE-

Aktivitäten am häufigsten untersucht?

Ergebnisse

F2 – Welche Empfehlungstechniken wurden in Bezug auf RE-

Aktivitäten am häufigsten untersucht?

Ergebnisse

F2 – Welche Empfehlungstechniken wurden in Bezug auf RE-

Aktivitäten am häufigsten untersucht?

Ergebnisse

F2 – Welche Empfehlungstechniken wurden in Bezug auf RE-

Aktivitäten am häufigsten untersucht?

Ergebnisse

F3 – Welche Empfehlungselemente für das RE wurden am

häufigsten untersucht?

Ergebnisse

F4 – Wie ist der Validierungsstatus der für das RE

untersuchten Empfehlungssysteme?

Ergebnisse

F5 – Welche Bewertungsmetriken wurden in den Studien

angewendet?

Gliederung

▪ Motivation und Ziele

▪ Empfehlungssysteme

▪ Verwandte Arbeiten

▪ ^Vorgehen

▪ ^Ergebnisse

▪ Zusammenfassung und Ausblick

Zusammenfassung und Ausblick

Am häufigsten

untersucht Nicht / selten untersucht RE-Aktivität • Anforderungsverwaltung • Verifizierung und

Validierung Empfehlungs-

technik

• wissensbasierte

Empfehlungssysteme

• NLP/Text Mining Techniken

• kontextsensitive

Empfehlungssysteme

Empfehlungs- element

• Anforderungen

• Features

• Priorisierung

• Stakeholder

• Empfehlung von

grafischen Elementen

• Empfehlungselemente von RE im agilen Umfeld Bewertungs-

metrik

• Genauigkeitsmetriken • andere Qualitätskriterien wie Neuartigkeit,

Diversität, etc.

Ausblick - Virtuelles RE

▪ Unterstützung von Groupware z. B. Microsoft Teams oder Slack in Großprojekten

1. Analyse von Gruppenchats mit NLP/Text Mining Techniken und einer Wissensdatenbank

2. Ein soziales Netzwerk von Stakeholdern aufbauen

➢ Während Unterhaltungen in Gruppenchats mit einem Bot/virtuellen Assistenten Folgendes empfehlen:

o

passende RE-Techniken bzw. Best Practices

o

das Einbeziehen von Stakeholdern in die Unterhaltung

o

Meetings vorschlagen

Vielen Dank für Ihre

Aufmerksamkeit

Quellen

1. Aggarwal, Charu C.; Recommender systems: The textbook, Cham. Springer, 2016.

2. Cheema, S. M.; Adnan, M.; Baqir, A.; Malik, S.; Munawar, B. A.; A Recommendation System for Functional Features to aid Requirements Reuse, in: 2020 3rd International Conference on Computing, Mathematics and Engineering Technologies (iCoMET), 2020, S. 1–4.

3. Felfernig, A.; Ninaus, G.; Grabner, H.; Reinfrank, F.; Weninger, L.; Pagano, D.; Maalej, W.; An Overview of Recommender Systems in Requirements Engineering, in:

Managing Requirements Knowledge, Berlin, Heidelberg, Springer Berlin Heidelberg, 2013, S. 315–332.

4. Gasparic, Marko; Janes, Andrea; What recommendation systems for software

engineering recommend: A systematic literature review, in: Journal of Systems and Software, 113, 2016, S. 101–113.

5. Jariha, Priyanka; Jain, Sanjay Kumar; A state-of-the-art Recommender Systems: An overview on Concepts, Methodology and Challenges, in: Proceedings of the

International Conference on Inventive Communication and Computational Techno- logies: ICICCT 2018 : 20-21 April 2018, Piscataway, NJ, IEEE, 2018, S. 1769–1774.

6. Kristantya, P. A. W.; Kusumo, D. S.; Selviandro, N.; Fachriannoor; The implementation of adaptive requirements engineering process based on case-based reasoning, In:

2017 5th International Conference on Information and Communication Technology

Quellen

7. Matthieu Vergne; Angelo Susi; Expert Finding Using Markov Networks in Open Source Communities, in: Springer, Cham, 2014, S. 196–210.

8. Mohebzada, Jamshaid G.; Ruhe, Guenther; Eberlein, Armin; Systematic mapping of recommendation systems for requirements engineering, in: International Conference on Software and System Process (ICSSP), IEEE, 2012, S. 200–209.

9. Palomares, Cristina; Franch, Xavier; Fucci, Davide; Personal Recommendations in Requirements Engineering: The OpenReq Approach, in: , Springer, Cham, 2018, S.

297–304.

10. Petersen, Kai; Feldt, Robert; Mujtaba, Shahid; Mattsson, Michael; Systematic Mapping Studies in Software Engineering, in: Proceedings of the 12th International Conference on Evaluation and Assessment in Software Engineering, Swindon, GBR, BCS Learning

& Development Ltd, 2008, S. 68–77.

11. Rahul; H. Dahiya; D. Singh; A Review of Trends and Techniques in Recommender Systems, in: 2019 4th International Conference on Internet of Things: Smart Innovation and Usages (IoT-SIU), 2019, S. 1–8.

12. Samer, R.; Stettinger, M.; Atas, M.; Felfernig, A.; Ruhe, G.; Deshpande, G.; New Approaches to the Identification of Dependencies between Requirements, in: 2019

IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI), 2019, S.

1265–1270.

Quellen

13. Udsanee Pakdeetrakulwong; Pornpit Wongthongtham; Waralak V. Siricharoen; Naveed Khan; An OntologyBased Multi-Agent System for Active Software Engineering

Ontology, in: Mobile Networks and Applications, 21, 2016, S. 65–88.

14. Wicaksono, H.; V. Schubert; S. Rogalski; Y. Ait Laydi; J. OvtcharovaH. Wicaksono; J.

Ovtcharova; Ontology-driven Requirements Elicitation in Product Configuration Systems, in: Enabling Manufacturing Competitiveness and Economic Sustainability, Springer, Berlin, Heidelberg, 2012, S. 63–67.

15. Williams, I.; Yuan, X.; Recommender Systems for Software Requirements Engineering:

Current Research & Challenges, in: 2019 SoutheastCon, 2019, S.1-6.

Empfehlungssysteme - Bewertung

▪ Genauigkeit der Vorhersage mit Fehlermaßen, wie :

• Mean Absolute Error: 𝑀𝐴𝐸 = ^{σ 𝑖=1}

𝑁 ř _𝑖 −r _𝑖

𝑁

• Mean Square Error: 𝑀𝑆𝐸 = ^{σ 𝑖=1}

𝑁 ř _𝑖 −r _𝑖 ² 𝑁

• Root Mean Squared Error: 𝑅𝑀𝑆𝐸 = 𝑀𝑆𝐸 = ^{σ 𝑖=1}

𝑁 ř _𝑖 −r _𝑖 ²

𝑁

▪ Genauigkeit der Empfehlungsliste häufig durch

Precision, Recall und F1-Maß bewertet [Rahul et al., 2019]

▪ andere Qualitätskriterien (z. B. Neuartigkeit, Diversität

und Serendipität) [Aggarwal et al., 2016, 229 ff.]

Vorgehen

▪ Orientierung an den

Mappingstudienprozess für Software Engineering von Petersen et al. [PET08]

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Vorgehen – Forschungsfragen

▪ Suchbegriffe definiert

▪ Ein- und Ausschlusskriterien

z. B.:

• Sprache: Englisch

• Zeitraum: 2011 – 2020

• Dokumentart: Artikel aus

Fachzeitschriften, Konferenzen oder Workshops

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Vorgehen – Literaturrecherche & Studienauswahl

▪ Literatursuche in

verschiedenen Datenbanken

▪ Studienauswahl anhand der festgelegten Kriterien

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Vorgehen – Studienklassifizierung & Datenextraktion

▪ Kategorien der RE- Hauptaktivitäten

▪ andere Kategorien anhand der Schlüsselwörter in den

Kurzfassungen oder Volltexten

▪ Formular, um relevante

Informationen aus den Studien zu extrahieren

Forschungsfragen

Literaturrecherche

Studienauswahl

Studienklassifizierung

Datenextraktion

Empfehlungssysteme

▪ Definition:

Ein Empfehlungssystem (Recommender system) ist ein System, das einem Benutzer in einem konkreten Kontext aus einer gegebenen Entitätsmenge eine Teilmenge

empfiehlt, die für ihn von Interesse ist [Jariha et al. 2018].

Verwandte Arbeiten

▪ ohne strukturierte Literaturrecherche

• [Felfernig et al., 2013]

o Anwendungsszenarien und Herausforderungen

• [Williams et al., 2019]

o Herausforderungen und einige Lösungsansätze

▪ mit strukturierter Literaturrecherche

• [Gasparic et al., 2016]

o SLR Empfehlungssysteme für das Software Engineering

• [Mohebzada et al., 2012]:

o systematische Mappingstudie

o Suchzeitraum von 2004 bis 2011 → 23 relevante Studien

o kollaborative Empfehlungssysteme (33,33%)