wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Plattformunabhängige GUIs mit wxWidgets.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Dienstag 8. November 2016, 17:00

Hallo,

ich benötige Hilfe bei folgendem Problem: Ich habe einen wxpython-Dialog, der als Ergebnis einer Validierung eine TypeError-Exception ausgibt, wenn der User den OK-Button klickt. Ich teste diesen Dialog mit unittest, allerdings arbeitet der Test nicht so, wie ich es erwarte. Die Ausgabe des Tests zeigt, dass die Exception auftritt und trotzdem sagt unittest, das der Test FAILed, weil "TypeError not raised". Hier ist die Ausgabe:

  1. "C:\Program Files (x86)\Python\python.exe" test.py
  2. Traceback (most recent call last):
  3.   File "test.py", line 22, in on_ok
  4.     raise TypeError( 'TypeError raised' )
  5. TypeError: TypeError raised
  6. F
  7. ======================================================================
  8. FAIL: test_should_raise (__main__.CDlgTest)
  9. ----------------------------------------------------------------------
  10. Traceback (most recent call last):
  11.   File "test.py", line 34, in test_should_raise
  12.     self._dut.m_button_ok.GetEventHandler().ProcessEvent( event )
  13. AssertionError: TypeError not raised
  14.  
  15. ----------------------------------------------------------------------
  16. Ran 1 test in 0.005s
  17.  
  18. FAILED (failures=1)

Hier mein (stark reduziertes) Programm:

  1. import unittest
  2. import wx
  3.  
  4. class CDlgBase ( wx.Dialog ):
  5.     """The UI"""
  6.     def __init__( self, parent ):
  7.         wx.Dialog.__init__ ( self, parent )
  8.         bSizerTest = wx.BoxSizer( wx.VERTICAL )
  9.         self.m_button_ok = wx.Button( self, wx.ID_ANY )
  10.         bSizerTest.Add( self.m_button_ok, 0 )
  11.         self.SetSizer( bSizerTest )
  12.         # Connect Events
  13.         self.m_button_ok.Bind( wx.EVT_BUTTON, self.on_ok )
  14.     def on_ok( self, event ):
  15.         event.Skip()
  16.  
  17. class CDlg( CDlgBase ) :
  18.     """The dialog"""
  19.     def __init__(self, parent):
  20.         super( CDlg, self).__init__(parent)
  21.     def on_ok(self, event):
  22.         # The exception should be verified in the test `test_should_raise()`.
  23.         raise TypeError( 'TypeError raised' )
  24.  
  25. class CDlgTest( unittest.TestCase ) :
  26.     """The test class"""
  27.     def setUp(self):
  28.         self._dut = CDlg(None)
  29.     def test_should_raise(self):
  30.         """The test to verify raising the TypeError exception in the event
  31.        method `on_ok()`. this is the test method wich works not as expected."""
  32.         event = wx.CommandEvent( wx.EVT_BUTTON.evtType[0] )
  33.         event.SetEventObject( self._dut.m_button_ok )
  34.         with self.assertRaises( TypeError ) :
  35.             """Simulate an "OK" click. `on_ok()` will be executed
  36.            and raises the TypeError exception."""
  37.             self._dut.m_button_ok.GetEventHandler().ProcessEvent( event )
  38.  
  39. if __name__ == '__main__':
  40.     app = wx.App()
  41.     tests = [ unittest.TestLoader().loadTestsFromTestCase( CDlgTest) ]
  42.     unittest.TextTestRunner().run(unittest.TestSuite(tests) )

Was mache ich falsch?
Danek
Sirius3
User
Beiträge: 7069
Registriert: Sonntag 21. Oktober 2012, 17:20

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Sirius3 » Dienstag 8. November 2016, 17:34

@Humbalan: das ist die generelle Schwierigkeit beim Testen von GUIs. Exceptions, die in Event-Handlern ausgelöst werden, sollen ja normalerweise nicht das ganze Programm mit sich reißen. Daher werden sie vom Scheduler abgefangen und landen nie in Deiner Test-Routine. Am besten sind die Event-Handler nur dünne Schichten über der Logik, die man separat ohne GUI testet.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Dienstag 8. November 2016, 18:58

Das hört sich so an, als hätte ich mit der Exception einen Fehler gemacht. Ist es also besser, den Validator mit einem Rückgabewert zu versehen, statt im Fehlerfall eine Exception zu erzeugen?
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Mittwoch 9. November 2016, 13:11

In einem anderen Forum habe ich auf diese Frage folgende Antwort von Robin Dunn bekommen (von mir übersetzt):

See: https://wiki.wxpython.org/CppAndPythonSandwich

Exceptions werden nicht durch den Call-Stack der C++-Layer nach oben gereicht. Wenn Python die Steuerung an C++ zurück gibt, dann wird überprüft, ob es eine unbearbeitete Python-Exception gab. Wenn das der Fall ist, dann wird sie ausgegeben und dann gelöscht.

Eine Möglichkeit, damit in Modultests umzugehen: die Exception im eigenen Event-Handler abfangen und ein Flag setzen. Zurück im Test-Code muss dann getestet werden, ob dieses Flag gesetzt ist.


Diese Antwort war sehr hilfreich, die Problematik vollständig zu verstehen. Der Artikel beim angegeben Link ist auch lesenswert.
BlackJack

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon BlackJack » Mittwoch 9. November 2016, 16:08

@Humbalan: Wobei das eher ein Hack ist und man eigentlich GUIs auch nicht auf diese Weise mit Unittests testet. Du würdest dabei für *Tests* zusätzlichen Code in die normale Programmlogik einfügen, die ausserhalb der Tests unbenutzt ist.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Mittwoch 9. November 2016, 16:36

@Blackjack: Danke für Deinen Beitrag. Ja, das stimmt, Robins Vorschlag ist hacky. Ich bin immer mehr davon überzeugt, dass es wohl besser ist, meine Validatoren zu re-designen und (wie es in allen Beispielen auch gezeigt wird) mit einem Returncode zu versehen. Ist nicht ganz trivial, denn bei den Exceptions hatte ich noch zusätzlich Daten mitgegeben. Aber der Vorteil wäre, dass es dann keine eigenen Exceptions mehr in Event-Handlern gibt. Habe mich noch nicht endgültig entschieden.
Sirius3
User
Beiträge: 7069
Registriert: Sonntag 21. Oktober 2012, 17:20

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Sirius3 » Mittwoch 9. November 2016, 17:16

@Humbalan: Event-Handler haben auch keine Rückgabewerte. Was meinst Du mit Validatoren? Was willst Du mit Deinen Tests eigentlich erreichen?
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Mittwoch 9. November 2016, 20:56

@Sirius3:
Was willst Du mit Deinen Tests eigentlich erreichen?
Ganz grob gesagt: ich möchte sicherstellen, dass der Dialog, den ich teste, das spezifizierte Verhalten zeigt. Ich möchte mir ersparen, bei jeder SW-Änderungen die betroffenen Dialog "händisch" zu testen, dazu habe ich nicht die Zeit und das ist mir auch zu langeweilig. In dem hier beschriebenen Test geht es v. a. darum, dass unter bestimmten Voraussetzungen eine im Test simulierte Benutzereingabe zu einer Exception führt, und unter bestimmten anderen Voraussetzungen diese Exception nicht auftritt. Die Exception tritt auf, wenn der "Benutzer" hat eine Eingabe gemacht hat, die zurückgewiesen werden muss.
Was meinst Du mit Validatoren?
Damit ich die Frage richtig verstehe, lass mich bitte eine Gegenfrage stellen: weißt Du nichts über Validatoren oder verstehst Du nur nicht, was ich damit mache?
BlackJack

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon BlackJack » Mittwoch 9. November 2016, 21:47

@Humbalan: Also ich verstehe nicht was Du damit machst, denn im Beispiel ist ja keiner. Da ist nirgends ein `wx.Validator` oder ein Aufruf von `wx.Window.Validate()` zu sehen und auch keine Standard-OK-Schaltfläche die `OnOk()` aufrufen würde.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Donnerstag 10. November 2016, 09:03

@BlackJack: Einen Validator habe ich nirgends im Code gezeigt, um den Code-Schnipsel möglichst kurz zu halten. Im tatsächlichen Programm ist jedes Dialogfeld mit einem Validator verknüpft.

Ich meinte, besonders schlau zu sein, abweichend von den Beispielen im Web den Validator nicht mit einem Returnwert True oder False zu versehen, sondern bei entdeckten Fehlern eine Exception zu erzeugen :oops: . Für das angegebene Beispiel habe ich in der on_ok()-Methode abweichend von meinem tatsächlichen Code eine TypeError-Exception "hart codiert" eingefügt, weil es nicht auf die Funktionsweise des Validators ankam, sondern auf die Exception in der Event-Methode.
Sirius3
User
Beiträge: 7069
Registriert: Sonntag 21. Oktober 2012, 17:20

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Sirius3 » Donnerstag 10. November 2016, 09:18

@Humbalan: solangsam wird mir das alles klarer. Du kannst von dem, was ein Validator zurückliefert nicht abweichen, weil Validatoren werden tief in der Prozessierungslogik von Dialogfeldern verwendet, und die erwarten eben als Rückgabewert True oder False. Auf der anderen Seite rufst Du ja auch die Validatoren gar nicht auf, hast also auch gar keinen Code, der so eine Exception verarbeiten könnte.
Zudem haben Validatoren mit Event-Handlern rein gar nichts zu tun. Zeig doch mal Deinen wirklichen Code und wie Du da versuchst, Validatoren zu benutzen.
BlackJack

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon BlackJack » Donnerstag 10. November 2016, 10:33

@Humbalan: Ich denke um einen Validator in einem Unittest zu testen müsste man wahrscheinlich auf Mock-Objekte zurückgreifen an denen man dann überprüfen kann ob der so mitspielt wie man das erwartet. Eben weil das alles so tief im Rahmenwerk steckt.

Aber wie schon mal angedeutet willst Du hier vielleicht auch nicht wirklich Unittests. Das sind vielleicht eher Akzeptanztests und eventuell ist das ein Testwerkzeug das die Verwendung der GUI und deren Reaktionen prüft, passender. Dann interessiert nicht (direkt) wann die Validatoren True oder False liefern, sondern was bei welcher Eingabe passiert wenn man Ok klickt, beziehungsweise ja auch schon was bei welchen Daten passiert wenn der Dialog angezeigt wird. Werden die Daten richtig angezeigt, kommt das Fenster mit der Fehlermeldung, und so weiter.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Donnerstag 10. November 2016, 10:48

Danke für Eure Hilfe.

@BlackJack: Es stimmt, ich möchte bei meinen Dialog-Tests nachweisen, dass die Dialoge wie erwartet auf richtige oder falsche Eingaben reagieren und bei "OK"-Klick die erfolgten Eingaben zur Verfügung stehen. Dabei sind mir tatsächlich Returnwerte von Validatoren egal. Und tatsächlich habe ich dirch die bisherige Löstung bemerkt, dass ich nicht wirklich verstanden habe, wie Validatoren funktionieren. Und du hast Recht, ich sollte nicht sagen, ich möchte etwas testen, und das mache ich mit unittetst :D, eher ich möchte etwas testen, was ist am geeignetsten dafür. Hast Du einen Tip?

@Sirius3: Meinen Code zu zeigen wird schwierig. Nimm mir's nicht übel, aber es wäre mir jetzt zu viel Arbeit, den Code so aufzubereiten, dass er hier nicht zu viel Platz verbraucht aber nicht so knapp wird, dass er nicht mehr durchschaubar ist. Aber vielleicht geht es, wenn ich kurz beschreibe, wie ich vorgehe. Immerhin habe ich durch Deine Antworten und die von BackJack einige Ideen, was ich falsch gemacht habe.

1. Schon beschrieben: meine Validate()-Methoden der Validator-Klassen haben keinen Returnwert. Ich glaubte, Fehler mit Exceptions feststellen zu können.
2. Meine Event-Methode des OK-Buttons heißt nicht OnOk(), sondern on_ok(). Und jetzt wundert es mich nicht mehr, dass ich die Validate()-Methode in den Event-Methoden explizit aufrufen musste mit z. B. control.GetValidator().Validate(). Ich glaubte, die Verknüpfung meiner eigenen Event-Methoden mit den jeweiligen Dialogfeldern durch Bind() sei ausreichend. Das war wohl ein Trugschluss.

Der Grund für 1.: Die richtige Art, Validate() zu programmieren, liefert mir zwar die Information, dass die Eingabe in einem Dialogfeld falsch ist. Ich benötige aber gelegentlich eine Information über den Charakter des Fehlers (Limit überschritten, Syntax falsch, ungültige Intervalle), um differenzierte Fehlermeldungen auszugeben. Beispiel ist ein Datumfeld, das leer ist, wenn das Datum ungültig ist, ein Min- und ein Max-Datum definiert ist und ein oder mehere Zeiträume im Min-Max-Breich auch noch verboten sind (vereinbarte Anforderung). In der Validate()-Methode wurden diese Bedingungen analysiert und bei fehlerhafter Eingabe ein False geliefert. Jetzt soll der User erfahren, was er falsch gemacht hat (vereinbarte Anforderung):

  • Du hast nichts eingegeben, eine Eingabe ist aber erforderlich
  • die Eingabe war kein gültiges Datum
  • Das eingegebene Datum ist vor/nach dem ... und ist daher nicht erlaubt
  • Das eingegebene Datum ist zwischen ... und ... und ist daher nicht erlaubt

Dazu ist die Information "falsch" nicht ausreichend. Jetzt müsste ich noch einmal dieselbe Analyse machen, die der Validator schon gemacht hat? Wäre doof. Also benötige ich zu dem False aus Validate() weitere Informationen. Die konnte ich der Exception einfach mitgeben. Auch hier würde ich mich über Tips für eine geeignetere Methode freuen.
BlackJack

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon BlackJack » Donnerstag 10. November 2016, 11:06

Ich bin kein Experte für `wxWidgets`, aber wenn ich das richtig sehe geht das Rahmenwerk davon aus, dass der Validator auch dafür verantwortlich ist den Benutzer zu informieren. Bei der Beschreibung der `wx.Validator.Validate()`-Methode steht der Satz „Return false if the value in the window is not valid; you may pop up an error dialog.“. Validatoren für Eingabeelemente könnten die dann zum Beispiel auch mit einem roten Hintergrund oder Rahmen versehen und/oder einen Tooltip mit der Problembeschreibung füttern.
Benutzeravatar
Humbalan
User
Beiträge: 52
Registriert: Mittwoch 2. September 2009, 15:11

Re: wxpython und untittest: event mit Exception, die assertRaises nicht bemerkt

Beitragvon Humbalan » Donnerstag 10. November 2016, 12:38

BlackJack hat geschrieben:Bei der Beschreibung der `wx.Validator.Validate()`-Methode steht der Satz „Return false if the value in the window is not valid; you may pop up an error dialog.“.
Kenn ich, aber hatte bisher gedacht, ich will nicht in einer allgemeingültigen Validator-Klasse eine produktspezifische Ausgabe machen. Bisher (mit der Exception-Lösung) war der Validator wiederverwendbar für andere Produkte, die zwar vergleichbare Bedinungen für Fehler haben, aber andere Fehlerreaktionen erforderlich machen. Oder bei meinem Datum-Beispiel: Ein Feld reagiert auf die Verletzung aller vier Bedingungen, ein anders nur auf die Min-Max-Verletzung.

Ich habe nun angefangen, meinen Code so umzubauen:

1. die Validate()-Methoden bekommen die erforderliche Form, die Exceptions fliegen raus.
2. alle Fehlerreaktionen werden in validate_callback()-Methoden verpackt, die dann - falls erforderlich - Feld-spezifisch sind.
3. die Validate()-Methoden geben dem Callback Informationen über die Fehlerqualität mit, um die Anforderungen zu erfüllen zu können, die ich im Datum-Beispiel formuliert hatte. Dazu musste ich der Callback-Methode zusätzliche Parameter verpassen.

Leider habe ich nirgendwo eine Info gefunden, ob auch die Validate()-Methode eine bestimmte Form haben muss (wie in https://wiki.wxpython.org/Validator%20f ... Attributes beschrieben ist. Dort wurde sie so vorgeschlagen:

  1. def validationCB( obj, attrName, value, flRequired, flValid )

Ich habe die Signatur noch durch einen Paramter `err` erweitert, in dem der aufgetretene Fehler näher bezeichnet werden kann (wie auch immer).

Wer ist online?

Mitglieder in diesem Forum: Google [Bot]