Human Centered Security mit Angela Sasse

Volker: Moin Moin, herzlich willkommen zu unserem Podcast Die Sicherheitslücke mit Volker

Volker: Skwarek von der HAW Hamburg.

Monina: Monina Schwarz vom LSI.

Ingo: Und Ingo Timm vom DFKI und der Uni Trier.

Volker: Wir zeichnen heute am 4.4.25 die fünfte Episode zum Thema Human-Centered Security auf.

Volker: Als besonderen Gast haben wir Professorin Angela Sasse von der Ruhr-Universität Bochum dabei.

Volker: Angela ist Expertin auf dem Thema Anwenderinnen und Anwender in der Cyber Security

Volker: und wie eben schon anfangs gesagt Human Centered Security.

Volker: Angela, erzähl uns doch mal kurz, wie du in dieses Themengebiet überhaupt gekommen bist.

Angela: Also ich bin studierte Psychologin und promovierte Informatikerin und da ist

Angela: es ja vielleicht nicht so überraschend, dass ich in der Mensch-Computer-Interaktion geforscht habe.

Angela: Und das habe ich auch in den 90er Jahren mit sehr viel Spaß bei der ersten Generation

Angela: der Internetsysteme, also was wir heute so als Skype und Zoom und so kennen, gemacht.

Angela: Und da haben wir natürlich auch viel mit so Telefonunternehmen zusammengearbeitet.

Angela: Und ein großes davon, die British Telecom, rief mich dann eines Tages jemand

Angela: an und sagte, hör mal, du verstehst doch was von Menschen.

Angela: Und ich so, yeah.

Angela: Und er sagte dann, und ich würde das jetzt mal, weil das auf Englisch war,

Angela: wird das aber eben so wiederholen.

Angela: Und er sagte also, okay, wir haben hier das Problem mit Passwörtern,

Angela: also die Wirtschaftsprüfer beschweren sich über die Kosten für unsere Helpdesks.

Angela: Und zwar die Helpdesks, die wir hier haben, um die Passwörter zurückzusetzen

Angela: von unseren Mitarbeitenden.

Angela: Und der sagte, kannst du nicht mal eine schnelle Studie machen?

Angela: Und jetzt das Zitat. and tell us why these stupid users can't remember their passwords.

Volker: Ja, das passt doch.

Volker: Ich glaube, dazu habe ich schon gleich passend die erste Frage an dich,

Volker: weil ich kenne dich ja schon so ein bisschen auch aus Panel-Diskussionen und

Volker: es ist immer wieder erfrischend, dir wirklich zuzuhören.

Volker: Insbesondere, weil du manchmal auch einfach, das finde ich sehr,

Volker: sehr schön, so deine Emotionen in Hinsicht auf Human-Centered Design und dem

Volker: Anspruch der IT-Administration nicht so ganz verbergen kannst.

Volker: Und ich dachte, da piekst du dich doch gleich mal rein mit der Frage.

Volker: Es gibt ja dieses ISO-OSI-Sieben-Schichten-Modell für die technische Beschreibung

Volker: der Systemkommunikation.

Volker: Und der klassische Support-Witz ist ja, wir haben da so ein Layer-8-Problem.

Volker: Also die User, die Anwenderinnen und Anwender sind unser Problem. Siehst du auch so, oder?

Angela: Nein, natürlich, natürlich gar nicht.

Angela: Und also gerade in der IT-Sicherheit gibt es ja da noch diesen ganz besonders schlimmen Spruch.

Angela: Sicherheit ist eine Kette und die Nutzer sind das schwächste Gerät in der Kette

Angela: und die sind einmal schuld.

Angela: Das hat Bruce Schneier, ja, also laut seinem Verleger, the nearest thing IT

Angela: security has to a rockstar, also sehr, sehr weit bekannt und einflussreich.

Angela: Leider hat er das in seinem Buch 2001, war das Secrets and Nice,

Angela: glaube ich, hat er da mal diesen Spruch geprägt. Und das ist heute immer noch

Angela: in den Köpfen der IT-Sicherheitsleute drin.

Angela: Die machen das nicht so, wie wir uns das vorgestellt haben.

Angela: Und deshalb, die sind defekt und die müssen wir jetzt reparieren.

Volker: Ich finde das krass, weil aus meiner Sicht ist die IT ja so als Grundkonzept

Volker: dafür gebaut, Automatisierung zu ermöglichen und Menschen bei stupiden,

Volker: dummen Aufgaben zu unterstützen,

Volker: zu entlasten, weil die bei stupiden, dummen Aufgaben algorithmisch weniger Fehler macht als Menschen.

Volker: Wenn man jetzt sagt, dass das Mensch-Unterstützungssystem, dass der Mensch zu

Volker: dumm ist für das Mensch-Unterstützungssystem, schwierig.

Angela: Wunderbar, da hast du dieses Paradox wirklich auf den Punkt gebracht.

Angela: Das kann überhaupt nicht sein.

Angela: Und also das ist, ich sage also manchmal auch so ein bisschen,

Angela: es ist einfach, die IT Security ist so der letzte Teil der Informatik,

Angela: wo eben also wirklich diese Grundeinsicht,

Angela: dass es Sachen gibt, die können Menschen gut machen und es gibt Sachen,

Angela: die können Computer machen. Das nennen wir dann eben Aufgabenverteilung.

Angela: Dass wir das also so machen, dass beide Seiten ihre Stärken nutzen können und

Angela: dass wir die gegenseitigen Schwächen kompensieren.

Angela: Designt man eigentlich ein System. In der IT-Sicherheit ist es aber so,

Angela: die sitzt immer noch leider in so einem Silo in der Informatik und macht ihre

Angela: eigenen Regeln und schiebt die dann runter und dann so nach dem Motto,

Angela: alles hört auf mein Kommando,

Angela: weil Sicherheit ist wichtig und die fühlen sich im Moment nicht dafür verantwortlich.

Angela: Also auch nur wirklich die allerelementarste Machbarbarkeitsprüfung dieser Regeln durchzuführen,

Angela: bevor sie das Ganze dann also in irgendwelchen Regelwerken oder in einem technischen

Angela: Mechanismus, der dann den Nutzern aufgezwungen wird, rausbringen.

Angela: Und also ich sage schon und ich muss sagen, da bin ich auch,

Angela: ich werde emotional, weil ich manchmal sehr frustriert bin,

Angela: dass ich das schon seit 20 Jahren, also sage ich, 20 Jahre bei einer PKI-Konferenz,

Angela: wenn die dann gucken mich an wie ein

Angela: Auto und sagen, ja von wegen Machbarkeitsprüfung, wie mache ich das denn?

Angela: Und dann sage ich, nehmen Sie ein Blatt Papier und einen Stift und schreiben

Angela: Sie jetzt bitte mal auf, alles, was die Nutzerin machen muss,

Angela: um eben diese Sicherheitsaufgabe durchzuführen.

Angela: Und wenn Sie über der Hälfte des Blattes angekommen sind, dann kann ich Ihnen

Angela: schon sagen, dass das nicht funktionieren wird.

Angela: Und dann kommen wir nochmal, vielleicht noch später im Detail,

Angela: da machen sie rechts mal noch eine Spalte und schreiben ihnen,

Angela: was können die alles falsch machen.

Angela: Ja, das ist ja im Grunde genommen die allerelementarste Benutzbarkeitsprüfung,

Angela: sich darüber mal Gedanken zu machen und das findet leider einfach nicht statt.

Volker: Ich nehme mir das nochmal als Stichwort mit auf, wenn wir nachher auch über

Volker: Maßnahmen reden, über einfache Maßnahmen, dass wir da nochmal auf diese Tabelle

Volker: zum Beispiel zu sprechen kommen.

Volker: Ich sehe schon, dass Ingo ganz unruhig zuckt, aber ich habe noch dazu eine Frage

Volker: oder zwei Fragen, die miteinander verbunden sind.

Volker: Und so der Klassiker für die Nutzerauthentifikation ist ja heute immer noch

Volker: das Passwort als erster Authentifikationsfaktor.

Volker: Manchmal ist es sogar noch der einzige. Das sollte vielleicht nicht mehr immer und überall so sein.

Volker: Aber eine Frage in Richtung Passworte und eine Frage in Richtung Awareness-Training habe ich.

Volker: Und dann gebe ich auch schon ab an Ingo.

Volker: Und zwar die erste Frage Richtung Passworte.

Volker: Es steht ja so im Raum, jeder Dienst ein eigenes Passwort,

Volker: Secure Communication über auch möglichst, ich sag mal, komplexe Passworte zu

Volker: merken als Passphrases, bei Hochsecurity-Anwendungen sogar dann im monatlichen Wechsel oder sowas.

Volker: Das heißt, das System wird auch dadurch dann immer sicherer und sicherer,

Volker: indem wir uns 25-wortige Passphrases mit großen Kleinbuchstaben merken müssen,

Volker: damit wir quasi zufälliges Passwort im monatlichen Wechsel auf allen Systemen

Volker: unterschiedlich neu designen. Frage 1. Frage 2.

Volker: Es ist ja mittlerweile sehr modern, Awareness-Trainings zu machen.

Volker: Meistens für Phishing, aber manchmal auch für andere Dinge. Aber eigentlich

Volker: sind es so die Phishing-Awareness-Trainings.

Volker: Und ich hatte auf einer letzten Konferenz gehört, da ist mir dann auch so kalt

Volker: den Nacken runtergelaufen.

Volker: Naja, und wenn dann so eine Nutzerin oder Nutzer drauf reinfällt,

Volker: auf so eine simulierte Phishing-E-Mail aus dem Awareness-Training,

Volker: dann hat er gleich mal wieder eine halbe Stunde Security-Update-Seminar gewonnen.

Volker: So, da haben wir von dir zwei Stellungnahmen, also die Komplexität von Passworten,

Volker: Sinn und Awareness-Trainings.

Angela: Ja, also wissenschaftlich ist das Ganze schon, ich muss leider sagen,

Angela: seit Jahrzehnten entschieden, dass nämlich,

Angela: also einfach ist, das menschliche Gedächtnis hat seine Beschränkungen.

Angela: Ja, und da kann man also wie Rumpelstilzchen dann irgendwie protestieren,

Angela: ja, aber die sollen doch und sollen doch und so, aber es geht nicht.

Angela: Also kein Mensch kann sich mehr als drei bis vier, sagen wir mal acht bis zehnstellige

Angela: und nicht besonders komplexe Passwörter merken, wenn er, er oder sie die regelmäßig benutzt.

Angela: Ja, und da reden wir von so Mitte des Arbeitslebens, unversehrte und sehr,

Angela: sehr fitte, fitte Leute.

Angela: Ja, wir fangen noch gar nicht an mit älteren Menschen, die vielleicht schon

Angela: ein bisschen Probleme mit dem Geistens haben oder so.

Angela: Also es geht einfach nicht. Und diese Erkenntnis hat sich also,

Angela: wissenschaftlich ist also auch bewiesen worden, dass es eben diese Limitierung

Angela: gibt und dass wenn man Menschen zwingt, immer mehr und immer längere Passwörter

Angela: zu haben, ohne dass man ihnen Hilfsmittel gibt.

Angela: Also wir haben ja heute Passwortmanager und sowas, mit denen man das dann umsetzen kann.

Angela: Aber wenn man Menschen zwingt, das zu machen, dann benutzen sie das gleiche

Angela: Passwort für zig Konten.

Angela: Und das ist sicherheitstechnisch gesehen so ziemlich mit das Schlimmste,

Angela: was man überhaupt machen kann. Weil die meisten Passwörter werden ja nicht geknackt in dem Sinne.

Angela: Das war eigentlich der Grund, warum diese Regel damals eingeführt wurde.

Angela: Die einzige Bedrohung, über die sie sich damals bei NIST Gedanken gemacht haben,

Angela: war eben diese sogenannte Brute Force Attack.

Angela: Also Passwörter durch Computer Power zu knacken.

Angela: Aber der größte Teil der Passwörter heutzutage kommt aus Leaks oder durch Phishing,

Angela: hast du ja schon erwähnt, Social Engineering Angreife.

Angela: Und die sitzen in riesen Datenbanken, die die Angreifer haben.

Angela: Also ein Passwort, was man für irgendwas Wichtiges benutzt, mehrfach weder zu

Angela: wenn, ist also das Allerschönste. Das wissen wir.

Angela: Und also die Frage ist ja dann eigentlich auch wirklich, also genauso eben auch

Angela: mit dem alle 90 Tage ändern oder so.

Angela: Die wissenschaftlichen Studien dazu haben gezeigt, wenn sie Menschen dazu zwingen,

Angela: diese Passwörter zu erneuern, werden die immer schlechter.

Angela: Das heißt, dann werden also, und wenn dann auch noch solche komplexe und lange

Angela: Regeln da sind, dann machen die einfach Cut 1, Cut 2, Cut 3,

Angela: Cut 4 oder irgendetwas nicht.

Angela: Oder wenn das dann geändert wird, werden nur die Zahlen ausgetauscht.

Angela: Also es ist nachgewiesen. Und eigentlich ist diese Botschaft auch schon bei

Angela: den obersten IT-Sicherheitsexperten angekommen.

Angela: Das National Cyber Security Center in Großbritannien hat seine Passwortrichtlinien

Angela: 2015 dahingegen geändert zu gesagt haben, zwingen sie Leute nicht ohne guten

Angela: Grund, ihre Passwörter zu ändern.

Angela: Dass sie gesagt haben, sie können nicht einfach den Nutzern immer komplexere

Angela: und immer längere Passwörter aufladen. Das funktioniert nicht.

Angela: Und die eben also schon damals da ganz klar für plädiert haben,

Angela: bitte steigen sie auf andere Lösungen um.

Angela: Zwei Faktor, Mehrfaktor oder lassen Sie Menschen einen Passwortmanager benutzen, wenn sie denn,

Angela: verdammt nochmal, immer noch nicht dazu gekommen sind, diese völlig überalterte

Angela: Sicherheitslösung, ein Faktor, zwei Schritte,

Angela: Benutzername, Passwort, durch

Angela: ein vernünftiges, modernes Identity- und Access-System auszutauschen.

Volker: Ja und so Awareness Trainings, also gerade so mit dem Phishing und diese,

Volker: ich nenne sie immer diese Brute Force Awareness Training,

Volker: wo Brute Force auf die armen Nutzerinnen und Nutzer ausgeübt wird oder falls

Volker: du da eine andere Idee hast, gibt es da möglicherweise auch bessere Dinge?

Angela: Also, ich habe damit zwei grundlegende Probleme oder erstmal zwei ganz wichtige Grundlage.

Angela: Es geht ja, da werden die Menschen mit Informationen zugeschmissen.

Angela: Und nur aufgrund von Informationen ändert kein Mensch sein Verhalten.

Angela: Ja, also die meisten Leute, die abends vor dem Netflix auf dem Sofa sitzen und

Angela: viel zu viel Chips essen, neun von zehn davon, können wir mal ganz konservativ

Angela: sagen, wissen ganz genau, dass das nicht gut für sie ist.

Angela: Und da können wir denen das auch noch hundertmal erzählen, dadurch ändert sich

Angela: nichts, sondern wir haben also auch in den letzten 20 Jahren enorme Fortschritte

Angela: in der Verhaltensforschung gesehen,

Angela: gerade eben also, dass die Psychologie und die Verhaltensökonomie da zusammengekommen

Angela: sind und also auch groß angelegte Studien geschaut haben, was führt eigentlich dazu,

Angela: also was hilft eigentlich Menschen wirklich ihr Verhaltensveränder.

Angela: Und das ist also ein langwieriger Prozess und also Menschen mit Informationen

Angela: zuzuschmeißen und dann auch noch in einer Situation,

Angela: wo sie ja eigentlich was anderes tun müssen an ihrem Arbeitsplatz oder selbst

Angela: wenn ich jetzt zu Hause sitze und ich muss jetzt ganz dringend die Rechnung

Angela: bezahlen, damit ich nicht noch Strafgebühren oben drauf bekomme und so.

Angela: Und dann wirkst du mir jetzt da so eine halbe Stunde Gedächtnis,

Angela: irgendeine Schulung ein. Das rauscht vorbei.

Angela: Und das ist also auch gerade bei diesen sogenannten Phishing-Trainings kann

Angela: man das also auch ganz, ganz schön sehen.

Angela: Wenn das dann mal evaluiert wird, ist das die 80 Prozent dieser Nachrichten

Angela: werden sofort weggeklickt und da wird das Training nicht gemacht.

Angela: Und selbst wenn die Menschen dann dazu gezwungen werden, da bleibt einfach nichts hängen.

Angela: Und was dann noch dazu kommt, ist den Eindruck, die Erfahrung ist eine fürchterlich negative Erfahrung.

Angela: Und das ist also einfach ein tiefes Loch, in dem wir in dem Moment drin sind.

Angela: Reden wir doch mal irgendwie im Biergarten oder bei irgendwelchen sozialen Veranstaltungen,

Angela: wenn man die Nicht-Experten auf IT-Sicherheit anspricht.

Angela: Das Erste, was sie am meisten wissen, ist erstmal dann…,

Angela: Und das ist eben, es ist einfach ein völlig falsches Verständnis von was Training

Angela: eigentlich ist Und wie man Menschen eigentlich hilft, eine gute neue Angewohnheiten,

Angela: gute neue Routinen zu entwickeln, die sie im Alltag ausführen sollten,

Angela: damit sie sicherer sind, damit die Firmen, für die sie arbeiten,

Angela: ihre Familien sicherer sind und so weiter.

Angela: Letztendlich wollen die Leute das ja, aber dadurch, dass wir sie mit so fürchterlichen

Angela: falschen Maßnahmen traktieren, helfen wir ihnen im Moment nicht.

Monina: Wäre dann die sinnvollere Schlussfolgerung daraus, dass man diese Awareness-Trainings

Monina: in irgendeiner Form spaßiger macht?

Monina: Gibt ja Gamification-Ansätze, dass das einfach dann sozusagen im Spiel oder

Monina: spielerisch beigebracht wird?

Monina: Oder sagst du, das muss eigentlich direkt über Prozesse abgebildet werden,

Monina: dass der Benutzer von vornherein das besser in seinen Alltag integriert und

Monina: überhaupt gar nicht dahin kommt, dass er ein Awareness-Training bräuchte?

Angela: Also das können wir vielleicht nochmal hier ganz klar sagen.

Angela: Wenn die Machbarkeit, wenn ich dieses Sicherheitsverhalten im Alltag nicht ausführen kann,

Angela: ohne dass es meine, und das viel zu lange dauert, oder dass die wichtigen hauptsächlichen

Angela: Aufgaben, die ich habe, ständig unterbricht und mich da ablenkt und meine Produktivität

Angela: im Laufe des Tages fürchterlich reduziert.

Angela: Ohne diese Machbarkeit können wir trainieren, bis die Kühe nach Hause kommen,

Angela: wie der Engländer sagen würde.

Angela: Das wird einfach nicht funktionieren.

Angela: Die Machbarkeit ist einfach die notwendige, aber nicht hinreichende Voraussetzung

Angela: für eine Verhaltenssendung, die Stufe 0 ist.

Angela: Dann können wir uns überlegen, wie muss so ein Training aussehen,

Angela: dass es erfolgreich ist.

Angela: Auf jeden Fall sind die spielerischen Ansätze besser als irgendwelche Angstmache

Angela: und Bedrohungen und so weiter.

Angela: Dass es ein bisschen Spaß macht und lustig ist, das kann helfen.

Angela: Aber das Allerwichtigste ist, es muss halt irgendwo stattfinden,

Angela: wo ich dafür überhaupt Zeit und Aufmerksamkeit habe.

Angela: Und dann muss ich das eben in den Alltag so einbauen, dass ich das oft genug

Angela: wiederhole, bis es zur Routine geworden ist.

Angela: Und dann mache ich das neue, sichere Verhalten automatisch und dann stellt das

Angela: auch keine Belastung mehr für mich dar.

Angela: Das heißt also, es ist so eine Kombination, wie wir das Training selber gestalten,

Angela: aber eben auch, es braucht so ein gewisses, wie soll man das einfach sagen,

Angela: also so Workflow-Engineering, um im Alltag dafür Platz zu schaffen.

Angela: Und dass wir also nicht die Leute einmal im Jahr drei, vier Stunden da vor den

Angela: Rechner setzen und dann müssen sie sowas durcharbeiten, sondern das muss in kleine,

Angela: also auf Verhaltensänderungen fokussierte Einheiten aufgespalten werden.

Angela: Und dann machen wir die erste Veränderung und die zweite und so weiter.

Angela: Da braucht man einfach einen langfristigen Plan für.

Angela: Und dann ist es auch sehr schön, wenn so eine Erinnerung dann aufpoppt.

Angela: So von wegen jetzt bitte nicht oder erstmal überprüfen, ob diese Erinnerung

Angela: kommt genau, wenn ich sie brauche.

Angela: Und nicht, dass ich das also separat auf irgendwelchen Webpages oder in irgendeinem

Angela: Dokument vor fünf Monaten oder so mal gelesen habe. Da hilft mir das nicht.

Angela: Und ich denke, da können wir auch, und ich sage immer, das ist keine Raketenwissenschaft,

Angela: das ist nur unsere Hausaufgaben machen.

Angela: Und also wirklich gute Praxis aus der Informatik und aus Human-Centered-Security,

Angela: also was man so Menschen-Computer-Interaktion nennt und Design-Usability nennt,

Angela: einfach anzuwenden auf die Sicherheit,

Angela: so wie wir das für die meisten anderen Sachen auch machen würden.

Monina: Ich würde sagen, so aus der Erfahrung heraus und der Gewohnheit,

Monina: gerade Gewohnheit, wenn man Sachen gut in die Gewohnheit einbaut und dann immer

Monina: denselben Rhythmus hat,

Monina: gerade das verleitet einem aber ja dazu, dann auch wieder Fehler zu machen,

Monina: weil man dann nicht mehr darauf achtet, ob irgendwas sich ein bisschen unterscheidet vielleicht.

Monina: Also gerade Angreifer nutzen das dann wahrscheinlich gerne oder nutzen uns generell

Monina: gerne, zu versuchen, Sachen ähnlich zu machen, wie Sachen, die man eh jeden Tag sieht.

Monina: Und wenn man dann in der Gewohnheit ist, beispielsweise in E-Mails auf links klickt, ähm,

Monina: Und dann nicht mehr jeden Link genau anschaut nach dem Phishing-Training,

Monina: das man jetzt hatte und dann nochmal nachschaut, sondern weiß,

Monina: ach, das ist wieder die Mail von Google.

Monina: Das kommt jeden ersten Montag im Monat, weil da laufen Updates, was auch immer.

Monina: Und dann draufklickt, dann hat man ja wieder genau das Problem,

Monina: dass man hier reingefallen ist sozusagen und die Security-Avernance leegeschlagen hat.

Volker: Das ist ja auch ein Angriff. Also das ist ja tatsächlich hier so ein Flooding,

Volker: so ein Phishing-Flooding-Angriff,

Volker: wo die Leute bombardiert werden mit irgendwelchen Dingen,

Volker: so wie Passwort ändern, bitte jetzt ändern, unbedingt jetzt ändern und die fünfte,

Volker: sechste, siebte Mail und die werden dann so erzürnt und abgestumpft,

Volker: die Nutzerinnen und Nutzer, dass sie dann einfach irgendwann sagen,

Volker: okay, muss wohl wichtig sein, ich mache das jetzt mal.

Angela: Also ich würde das erkennen von Phishing-E-Mails, so wie sich das in den meisten

Angela: Firmen oder jetzt auch für uns zu Hause, wenn wir mit unseren Standard-E-Mail-Anbietern

Angela: umgehen, ich würde das als eine unmögliche Aufgabe bezeichnen.

Angela: Ja, also wenn ich nämlich den IT-Sicherheitsexperten, die das propagieren,

Angela: glauben würde, müsste ich ja fünf Minuten über jeder E-Mail meditieren,

Angela: um zu entscheiden, ob sie denn nun gut ist oder nicht gut ist.

Angela: Und wenn ich ständig auf Links klicke, weil das in unseren Workflows von meiner

Angela: Firma so verankert ist, dann ist das einfach sehr, sehr schwer abzustellen.

Angela: Dann ist jetzt die Frage, es ist wesentlich machbarer und ich habe das auch

Angela: selber schon in Zusammenarbeit mit einigen Firmen durchgeführt.

Angela: Okay, wir haben jetzt noch nicht die perfekte Art und Weise,

Angela: das für die Nutzer einfacher zu machen mit dem Phishing.

Angela: Aber wenn alle legitimen E-Mails klar gekennzeichnet sind, dass sie verifiziert

Angela: sind und die sind sicher, dann kann ich die in meinem normalen Hamstermodus durcharbeiten.

Angela: Und dann sage ich den Nutzerinnen und Nutzern, bitte alle, die nicht ganz klar

Angela: verifiziert sind, könnt ihr die bitte an die Seite schieben.

Angela: Macht die erstmal nicht.

Angela: Und dann vielleicht zweimal am Tag.

Angela: Dann kann ich sagen, jetzt aus meinem, was der Verhaltensforscher Kahnemann,

Angela: also System 1 Modus, das ist ja dieser Arbeitsmodus, durch den wir effizient

Angela: sind und super viel schaffen.

Angela: Dann kann ich aus meinem Hamstermodus raus und dann sagen, okay,

Angela: jetzt mache ich einen Schwenk, jetzt habe ich eine andere Aufgabe,

Angela: jetzt setze ich mir meine verdächtige, jetzt bin ich misstrauisch,

Angela: Jetzt setze ich mir meine misstrauische Brille auf und diese nicht verifizierten

Angela: E-Mails, die schaue ich mir ganz genau an.

Angela: Und dann eben auch also hilfreiche Verhaltensmassen, wie zum Beispiel,

Angela: da kann ich das jetzt melden, wenn ich mir nicht sicher bin.

Angela: Kann da jemand, kann da jemand, kann da eine Expertin oder Experte draufschauen?

Angela: Oder eben auch, ich ermutige Menschen immer miteinander, über diese verdächtigen

Angela: E-Mails zu sprechen, weil das ist eine der effektivsten Lernerfahrungen überhaupt,

Angela: wenn man von Kolleginnen oder Kollegen in der gleichen Situation von denen gesagt bekommt.

Angela: Und deshalb sind also auch solche Konzepte, dass man vielleicht schaut,

Angela: dass in jeder Abteilung vielleicht ein oder zwei Leute sind,

Angela: die sich für das Thema interessieren und auch ihren Kolleginnen und Kollegen

Angela: das gerne nahebringen und vermitteln und erklären können.

Angela: Wenn ich von denen das dann erklärt bekomme und gezeigt bekomme, dann,

Angela: also ich habe das schon erlebt in einer Bank, wo eigentlich diese hochbezahlten

Angela: Trader überhaupt nichts wissen wollten von Security und Security,

Angela: die empfangen das alles als, dass wenn man denen dann erklärt hat,

Angela: wie diese Manipulation stattfindet, wie arbeiten die, wo kann ich das,

Angela: das, und dann hat man so, die gebeten halt, schiebt diese E-Mails,

Angela: wenn ihr euch nicht sicher seid, an die Seite und dann macht das Sicherheits

Angela: die Sicherheitsexperten, so ein Fish-of-the-Day-Website und wenn ihr morgens

Angela: reinkommt, schaut euch bitte mal an, was da so im Moment an Angriffen gefahren wird und so,

Angela: dass sie dann da mit Begeisterung drauf gucken und auch miteinander drüber reden.

Angela: Und das ist eine der wirklich der effektivsten Maßnahmen. Also.

Angela: Das Verhalten zu ändern, die Einstellung der Leute zu ändern und dann eben auch

Angela: die ganze Erfahrung mit der Sicherheit.

Angela: Also eine wichtige Sache, die wir auch immer wieder feststellen,

Angela: ist, wenn Leute das sichere Verhalten nicht machen, ist,

Angela: dass sie so hängen bleiben, weil sie sich nicht sicher sind,

Angela: ob sie es richtig machen, sich das gar nicht zutrauen und dann quasi so auf

Angela: diesem Veränderungspfad abbrechen.

Angela: Und das ist eben, also die gute Nachricht ist, eigentlich wissen wir,

Angela: wie wir ihnen helfen könnten.

Angela: Die nur nicht so gute Nachricht ist, ich stelle es immer wieder fest,

Angela: die möchten gerne, die meisten CISOs, mit denen wir arbeiten oder Sicherheitsexperten,

Angela: die möchten eine Sache wissen.

Angela: Was muss ich denn jetzt machen, damit ich das? Und da ist leider die Antwort

Angela: drauf, es ist nicht eine Sache,

Angela: sondern wir müssen halt eben einfach die Aufgabe machbar gestalten und dann

Angela: müssen wir unsere Kundinnen und Kunden oder unsere Mitarbeiterinnen und Mitarbeiter

Angela: einfach auch eine gewisse Zeit lang ein bisschen begleiten und unterstützen,

Angela: bis das sichere Verhalten eingebettet ist und Routine ist.

Ingo: Also ich möchte ganz kurz mal rein, also ich habe ja eben schon gehört,

Ingo: ich soll als Wirtschaftsinformatiker was sozusagen, das möchte ich lieber etwas kurz halten.

Ingo: Ich glaube nicht, dass wir über die Kosten-Nutzen-Perspektiven zu sehr reden

Ingo: sollten. Was mich ein bisschen beschäftigt als KI-Forscher, ist eher die Frage,

Ingo: was mit der generativen KI auf uns zukommt.

Ingo: Und ich muss ganz ehrlich gestehen, dass ich schon etwas, nicht überrascht,

Ingo: aber auf jeden Fall nicht besonders glücklich bin über das, was wir mittlerweile

Ingo: an Qualität in der Phishing-Mail sehen.

Ingo: Also ich habe einige Phishing-Mails zu Hause halt mittlerweile,

Ingo: die ich deswegen erkennen konnte, weil ich nicht bei dieser Bank Kunde bin.

Ingo: Aber ansonsten war die E-Mail eins zu eins authentisch.

Ingo: Also bis auf eben Absender-E-Mail-Adresse stimmte nicht mit Absender-Namen in

Ingo: irgendeiner Art und Weise zusammen.

Ingo: Aber wie werden wir in Zukunft dieses Problem in den Griff kriegen können?

Ingo: Das ist ja kaum noch zu lösen durch Interaktionen zwischen den Menschen.

Ingo: Also wo siehst du da eine Angriffsstelle oder eine Abwehrmaßnahme,

Ingo: die man ergreifen kann als Unternehmen, um diesen generativen Ansätzen nicht zu erliegen nachher?

Angela: Also ich würde jetzt mal ketzerisch sagen, dass wir eigentlich dem mit klassischen,

Angela: wenn wir also klassische Risikomanagement haben,

Angela: befolgen und vernünftiges Identity- und Access-Management machen würden,

Angela: dass dem damit beizukommen ist.

Angela: Also würde ich auch wieder sagen, keine Raketenwissenschaft, aber Hausaufgaben.

Angela: Das heißt also, ich muss wirklich zwischen den Parteien klare Erkennungsformen

Angela: haben, wie ich jetzt erkennen und verifizieren kann, ob das echt ist oder nicht.

Angela: Und ich muss eben also auch mir Gedanken machen, ich muss klare Interaktionsregeln

Angela: im Militär, sagt man Rules of Engagement, also haben in welcher.

Angela: Das heißt also, wenn ich jetzt was bekomme und das sieht so aus als von der

Angela: Bank, dann muss ich auch irgendwo anrufen können und nachfragen können,

Angela: ob das jetzt wirklich sein soll.

Angela: Wenn die Kundinnen und Kunden da stundenlang im Netz nach einer Telefonnummer

Angela: suchen müssen, dann hilft das natürlich nicht.

Angela: Wirklich also klarer Ablauf. Also wir haben ja einige sehr schöne,

Angela: eigentlich auch einfach zu nutzende Verfahren wie Fototan oder so.

Angela: Aber da müssen ganz klare Regeln ist, wann kann ich diesen TAN nun wirklich

Angela: ablesen und einsetzen und unter welchen Bedingungen nicht.

Angela: Und da ist es wirklich einfach, da hapert es also wirklich oft noch dran.

Angela: Und ich denke, wir könnten den meisten mal bringen.

Angela: Wenn es, wie gesagt, wenn wir uns selber einfach wieder beim Menschen abladen,

Angela: da zu sitzen und zwischen KI und Nicht-KI zu unterscheiden, dann ist das einfach

Angela: ein unmögliches Design.

Angela: Wir laden die ganze Arbeitsliste und alles bei den Nutzerinnen und Nutzern ab.

Ingo: Ja, ich glaube, ein Problem ist auch, dass wir zu viele von diesen Nachrichten

Ingo: erzeugen, die eigentlich gar keinen Sinn haben.

Ingo: Also beispielsweise, wenn ich nicht im Teams angemeldet bin oder den Teams-Rechner

Ingo: gerade nicht aktiv habe oder Teams im Hintergrund läuft, dann kriege ich nach

Ingo: zwei Minuten E-Mail, dass irgendeine Nachricht eingegangen ist.

Ingo: Und das macht es natürlich auch gerade wieder Phishing sehr leicht,

Ingo: dass man dann eben ähnliche Nachrichten erzeugt, die man auch wieder reinsendet.

Ingo: Und man erwartet dann, dass man solche Nachrichten bekommt.

Ingo: Das ist relativ schwierig.

Ingo: Ich würde gerne nochmal auf die psychologische Perspektive eingehen.

Ingo: Und das ist etwas, was mir wirklich im Alltag relativ große Sorgen macht.

Ingo: Einmal aus einer technischen Lösungsperspektive heute, aber auch aus der Frage,

Ingo: wie wir Sicherheit wahrnehmen.

Ingo: Also du hast ja gesagt, im Prinzip brauchen wir für alle wichtigen Applikationen

Ingo: eigene Passwörter, komplexe, lange Passwörter, das ist ja eigentlich klar.

Ingo: Die müssen abgelegt werden in einem Password-Manager, das haben wir alle zur Verfügung.

Ingo: Aber Password-Manager werden häufig auch in Cloud synchronisiert.

Ingo: Die haben dann einen zentralen Zugang und mittlerweile bieten ja die Password-Manager

Ingo: alle sehr viel Komfortfunktionen an.

Ingo: Also beispielsweise, dass ich zum Passwort auch gleich den zweiten Faktor ablegen

Ingo: kann, dass ich möglicherweise auch mein Passkey bei Apple jetzt beispielsweise

Ingo: mit einspeichern kann. Vielen Dank.

Ingo: Aber ist nicht dieses, dass wir den Menschen sagen, hier ist ein System,

Ingo: dem kannst du vertrauen, da kannst du deine Sachen hineinspeichern,

Ingo: eigentlich auch schon wieder ein Problem von der Perspektive der Sicherheitsentwicklung

Ingo: oder der Sicherheitsausbildung von Menschen?

Angela: Also ich würde sagen, wir müssen jeden Aufwand, also alle Zeit und Aufmerksamkeit,

Angela: die wir von Menschen abziehen, gut rechtfertigen.

Angela: Und im Prinzip ist also, wenn ich diese Komfortfunktion, wie du das nennst,

Angela: die da angeboten werden, im Prinzip ist das alles richtig,

Angela: weil es ist ja nicht nur die jetzt, wenn ich als Unternehmen,

Angela: also ich kann mich noch gut erinnern,

Angela: wie ich die Aufmerksamkeit von der Unternehmensführung bekommen habe,

Angela: ist, wenn ich da solche Studien gemacht habe und dann gesagt habe,

Angela: also ist ihnen eigentlich klar, dass ihre Mitarbeiter 30 Minuten am Tag nur

Angela: damit verbringen, sich irgendwo einzuloggen.

Angela: Und dann rechnen die so und dann fallen die vom Stuhl und sagen, oh Gott.

Angela: Und das ist einfach, also wenn wir zu viel Zeit mit Sicherheit verbringen und

Angela: nicht mit unseren produktiven Aufgaben, dann entsteht dadurch auch ein wirtschaftlicher

Angela: Schaden. Und das müssen wir halt in der Balance halten.

Angela: Deshalb denke ich immer also wir sollten halt und meistens wenn ich schaue und

Angela: die sagen nein das muss aber jetzt sein und die müssen diesen offen machen es

Angela: gibt meistens bessere Lösungen,

Angela: aber natürlich wo du vollkommen recht hast ist wir sollten die Anbieter dann

Angela: da auch tatsächlich haftbar machen und in die Pflicht nehmen,

Angela: das heißt wenn sie jetzt Sicherheit da versprechen das ist einfach und sicher

Angela: dann müssen die auch dafür haften dass das einfach und sicher ist Und da müssen

Angela: sie sich auch wirklich dann da ihren Gehirnschmalz und auch investieren,

Angela: dass diese Systeme sicher gehalten werden.

Angela: Und was wir ja gelernt haben ist, ein System kann nie hundertprozentig sicher

Angela: sein, aber wenn ich dieses System vernünftig manage,

Angela: wenn da die Aufsicht da ist und so weiter,

Angela: dann kann ich in der Regel den Schaden verhindern oder begrenzen.

Angela: Aber da muss ich dann natürlich auch in die Sicherheit meines Systems vernünftig investieren.

Ingo: Ja, mir macht im Endeffekt noch ein bisschen Sorgen, dass wir hier sehr leichte

Ingo: Ausweichaspekte haben, also beispielsweise bei der aktuellen Lösung,

Ingo: wie es Apple macht mit seinem Passwort und es ist ja so, dass ich die biometrisch

Ingo: entsperren kann und wenn Biometrie nicht funktioniert, weil ich eine Maske drauf

Ingo: habe, weil ich vielleicht nicht gut erkennbar bin,

Ingo: dann kann ich auch eine Passphrase eingeben und das ist etwas,

Ingo: was ich schon relativ problematisch finde.

Ingo: Und das ist mittlerweile mit Auskundschaften, das hatten wir in Amerika relativ

Ingo: viel gehabt jetzt, dass iPhones geklaut wurden, nachdem die Nutzer beim Eingeben

Ingo: ihrer Passcodes beobachtet wurden.

Ingo: Und anschließend war das Telefon offen. Und was damals gemacht wurde,

Ingo: das Telefon haben zu verkaufen.

Ingo: Aber was mir viel mehr Angst macht, ist eigentlich, dass man damit ja,

Ingo: solange das nicht ausgeschaltet und wieder angeschaltet ist,

Ingo: das Telefon auch in die Passwörter hineinkommt und sich die Passwörter anschauen kann.

Ingo: Und das ist etwas, was mir wirklich Sorgen macht.

Ingo: Dass wir hier ein Komfortfeature entwickeln, das eigentlich absolut sicher ist

Ingo: und dann an so einer ganz banalen Stelle ausgehebelt wird durch eine mir völlig

Ingo: unverständliche Entscheidung eines Unternehmens.

Ingo: Und das ist ja bei anderen Lösungen ähnlich.

Angela: Ja, da kann ich dir nicht ganz widersprechen. Und da können wir jetzt vielleicht

Angela: auch mal, also ich habe ja jetzt sehr viel kritische Sachen über Security Awareness

Angela: und Training und so weiter gesagt.

Angela: Ich bin aber, ich sage nicht, dass es nicht was gibt, dass Menschen heutzutage

Angela: nicht was Neues lernen müssen und also auch über Sicherheit mehr lernen müssen.

Angela: Und was du da angesprochen hast, ist einer dieser blinden Flecken.

Angela: Zwar nicht für Angstmache und so, aber wenn ich die Bedrohungsmodelle nicht

Angela: verstehe, dann kann ich auch selber kein vernünftiges Risikomanagement betreiben.

Angela: Also als normale Nutzerin und Kundin, die so ein Gerät hat und die das auch

Angela: für viele, viele Sachen nutzt, muss ich, habe ich natürlich doch noch einen

Angela: Teil der Verantwortung.

Angela: Und ich muss nämlich also meine Risiken vernünftig managen.

Angela: Und dass eben diese Art von Angriffen existieren und wie das dann zusammenhängt

Angela: und dass es Möglichkeiten gibt,

Angela: dass ich Entscheidungen treffen kann, wie ich nämlich, ich finde das sehr,

Angela: sehr schön, ich hatte vor zwei Wochen Markus Beckedahl bei einer Konferenz in

Angela: Berlin gesehen und er hat immer wieder darauf hingewiesen, diese Digitalkompetenzen.

Angela: Es gibt einfach ein Set von Digitalkompetenzen, die viele Nutzerinnen und Nutzer nicht haben.

Angela: Und eigentlich ist die IT-Sicherheit einfach ein Teil von Digitalkompetenzen,

Angela: die wir tatsächlich wirklich vermitteln sollten, wo wir dafür sorgen sollten,

Angela: dass alle Kinder in der Schule das lernen.

Angela: Und da ist eben dabei, dass ich eigentlich selber Entscheidungen treffen muss

Angela: und auch meine Risiken in gewisser Weise managen muss.

Angela: Und da muss ich mir mal die Zeit nehmen, mich hinzusetzen und mir das zu überlegen.

Angela: Und dann kann ich nämlich zum Beispiel sagen, also okay, vielleicht sollte ich

Angela: nicht alles auf meinem, es gibt Funktionen auf meinem Handy,

Angela: die sollte ich vielleicht nicht entsperren, nicht mit Biometrie entsperren.

Angela: Nur weil ich das Handy selber entsperre, heißt es ja nicht, dass ich das für

Angela: die Sachen, wo wirklich ein hohes Risiko besteht, wie die Bank App und so weiter machen muss.

Angela: Also ich stelle auch gerade fest, also manchmal sind ältere Menschen,

Angela: die sich völlig überfordert fühlen von solchen Sachen.

Angela: Also wenn ich denen dann sage, also hört mal, es ist nicht Zwang,

Angela: dass ihr eure Banktransaktionen macht, wenn ihr im Bus sitzt.

Angela: Und alle möglichen Leute.

Angela: Also ich kann das Risiko doch dadurch managen, dass ich sage,

Angela: diese finanziellen Sachen mache ich nur von zu Hause, von einem bestimmten Gerät, das ich kenne,

Angela: und wo mir keiner zugucken kann und wo ich, wenn ich Schwierigkeiten habe,

Angela: mich an mein Passwort zu erinnern oder so, dann habe ich da auch Möglichkeiten,

Angela: das gut zu verstecken irgendwo.

Angela: Also dass diese Art von Angriffen bestehen, Aber auch, dass wir unseren Umgang

Angela: mit der Technik und unseren Alltag so gestalten können, diese Risiken vernünftig zu managen.

Angela: Da ist, glaube ich, noch einfach ein großer Informationsbedarf und auch ein

Angela: großer Unterstützungsbedarf.

Volker: Also hier sehe ich auch einen Ansatzpunkt. Grundsätzlich stimme ich dir nämlich

Volker: absolut zu, dass zunächst erstmal die IT für sich sicher gemacht werden muss.

Volker: Also das ist aus meiner Sicht eine unternehmerische oder professionelle Verpflichtung

Volker: derjenigen, die sich mit IT-Security beschäftigen.

Volker: Wenn ich zum Beispiel nicht will, dass Leute auf Phishing-Links klicken und

Volker: ich möchte es wirklich absolut nicht,

Volker: meinetwegen im zentralen Banking-Kontext, nicht die Anwender,

Volker: sondern die Systembetreiber, da darf niemand auf so einem Phishing-Link klicken.

Volker: Die einzige Möglichkeit, die ich dann habe und nutzen muss, ist,

Volker: ich entferne aus E-Mails oder sämtlichen Systemen Links.

Volker: Also wenn ich es nicht will, dass es passiert, dürfen Links nicht existieren.

Volker: Trotzdem kann man ja so ein Copy-Paste-Ding machen. Ja, man kann ja den Link

Volker: ausschreiben und dann müssen die Leute, die den nutzen wollen,

Volker: in dem System wirklich den Link markieren, Ctrl-C, Ctrl-V und irgendwo einfügen.

Volker: Macht das Zeug unattraktiv, aber man denkt viel, viel mehr drüber nach.

Volker: Und es ist nicht so diese automatische Trainingsmechanismus. Man klickt drauf.

Angela: Gab es auch letztens eine Studie von Kollegen in der Schweiz,

Angela: die haben die sogar, die Nutzerinnen mussten die URLs händisch eingeben,

Angela: um sicherzustellen, dass das nicht, ja.

Volker: Genau, also da sehe ich mal die oberste Verpflichtung der IT-Sicherheit.

Volker: Wie möchte ich meine Assets schützen?

Volker: Ganz unten in der IT-Sicherheit kommt aber, wenn ich über eine Straße gehen

Volker: möchte, muss ich wissen, A, was die Straße ist, zweitens, was Autos mit mir

Volker: anrichten können, drittens, wo eine Ampel ist und viertens, wie sie funktioniert.

Volker: Wie wird das üblicherweise trainiert? Im Kindergarten, Alter, per Drill.

Volker: Eltern stehen bleiben, guck mal, wie sieht das Männchen aus?

Volker: Das ist rot. Jetzt gucken wir erst einmal links, dann rechts, dann links.

Volker: Und auch wenn die Ampel grün zeigt, gucken wir erst links, dann rechts, dann links.

Volker: Und jetzt mögen sich manche Nutzerinnen und Hörer vielleicht ein bisschen veräppelt fühlen,

Volker: aber so müssen wir heute im Moment auch mit Erwachsenen leider Gottes IT-Sicherheit

Volker: trainieren, weil sie in ihrem Leben mit größter Wahrscheinlichkeit noch nie sowas trainiert haben.

Volker: Drill. Und aber einfache Drills, wenige Drills. Gibt es da irgendwie Studien oder Meinung von dir?

Angela: Nein, das ist genau das, was ich anfangs erwähnt habe.

Angela: Dass das also tatsächlich der Drill bedeutet, dass du eine Routine,

Angela: also eine Routine entwickelst, die ist dann im Langzeitgedächtnis eingebettet.

Angela: Und da muss ich nicht groß drüber nachdenken. Wenn ich den Auslöser Straße sehe,

Angela: löst das automatisch dieses eintrainierte Verhalten, das ist dann im Langzeitgedächtnis

Angela: verankert, wird automatisch ausgelöst.

Angela: Dann ist das auch keine Belastung, keine Gedächtnisbelastung oder irgendwas.

Angela: Also selbst auch, wenn du jetzt ein Passwort hast und das ist 16 Zeichen lang

Angela: und fürchterlich kompliziert, aber wenn du es oft genug am Tag eintippst,

Angela: dann denkst du da auch nicht mehr drüber nach, dann kannst du das automatisch machen.

Angela: Aber da würde ich auch nochmal so drauf hinweisen, das ist zum Beispiel auch

Angela: eine, wo das Design also einen super Unterschied macht.

Angela: Wenn ich also zwischen häufigen und nicht häufigen Aufgaben unterscheide,

Angela: da muss ich entsprechend ein anderes Design für machen. Also das ist so absolut.

Angela: Also alles, was wir als Routine und wenn dieses Verhalten tatsächlich machbar

Angela: ist, dann können wir diese Verhalten alle trainieren und im Langzeuggedächtnis verankern.

Angela: Ich denke, im Moment haben wir einfach das Problem, dass es viel zu viele,

Angela: es gibt viel zu viele unterschiedliche Sachen.

Angela: Und auch zu viele, ne? Dass ich diese Rettinen, ja, also zum Beispiel,

Angela: also ein schönes Beispiel ist, es ist vielleicht in Deutschland,

Angela: in Deutschland ist es nicht ganz ein großes Problem, wie in anderen Ländern,

Angela: aber weißt du, wenn du mit der Kreditkarte bezahlst, im Restaurant.

Angela: Aber ein bisschen ist es bei uns auch ein Problem, also wenn das Trinkgeld,

Angela: dann ist ja manchmal noch, dass du Trinkgeld drauflegen kannst und dann musst

Angela: du es passiert jedes Jahr tausenden von Leuten,

Angela: dass sie ihren PIN als Trinkgeld eingeben oder andersrum.

Angela: Einfach weil die Abfolge nicht normiert ist.

Angela: Während in skandinavischen Ländern ist die Art und Weise, wie das Bezahlverfahren

Angela: funktioniert, absolut genormt.

Angela: Egal bei welcher Bank, die Abfolge von, dass ich das Trinkgeld eingebe,

Angela: dass ich den PIN eingebe, ist immer die gleiche.

Angela: Da kann ich eine Routine entwickeln und da weiß ich, wie das funktioniert.

Angela: Auch wenn ich mal ein bisschen, wenn das Licht schlecht ist,

Angela: wie ich da gerade bezahle, dann haben diese leider diese Bezahl-Terminals ja

Angela: oft also auch einen sehr, sehr schwer zu lesenden Bildschirm.

Angela: Oder auch wenn ich mal ein bisschen betrüttelt bin, kann es sehr leicht schief gehen.

Angela: Aber wenn es normiert ist und ich da auf dieses Routineverhalten zurückfahren kann, ist gut.

Angela: Aber so Routinen, wenn ich für viele, für ähnliche Sicherheitsaufgaben viele

Angela: verschiedene Verfahren habe und dafür viele verschiedene Routinen haben muss,

Angela: dann ist das, also dann ist quasi, dass Menschen Fehler machen,

Angela: ist damit vorprogrammiert.

Angela: Also wenn Sachen, die sehr, sehr ähnlich aussehen und zu einem ähnlichen Zweck

Angela: dienen, wenn ich da sehr, sehr viele Varianten unter, das erhöht die Fehlerwahrscheinlichkeit.

Volker: Dazu von mir noch eine kurze Nachfrage. Ich habe nämlich eine interessante Variante

Volker: von so einem Awareness-Training mal gesehen, gehört auf einem Kongress.

Volker: Und zwar ging es dann darum, wenn Phishing-E-Mails als Trainings-E-Mails verschickt

Volker: wurden und Leute darauf geklickt haben, weil sie wirklich gut gemacht sind, diese E-Mails,

Volker: dass dann nicht ein Bashing anfing oder eine Straf-30-Minuten-Sondersession

Volker: für ein neues Awareness-Training, sondern

Volker: es ging auf dem Bildschirm einen Ablaufplan auf und da wurde gesagt,

Volker: Sie haben jetzt gerade auf eine Phishing-E-Mail geklickt.

Volker: Bitte erstens IT-Notfallnummer anrufen, zweitens folgen Sie den Instruktionen,

Volker: drittens werden Sie niemanden erreichen können, klappen Sie Ihren Rechner zu

Volker: und entfernen Sie ihn vom Netz.

Volker: Also das stand da drin, um den Nutzerinnen und Nutzern klarzumachen,

Volker: ihr seid die erste Stufe der Rettungskette, um das Unternehmen jetzt vor Schaden

Volker: zu bewahren. Was sagst du zu sowas?

Angela: Wirklich konkrete Handlungsanweisungen sind Gold wert.

Angela: Und dann würde ich jetzt nur wieder sagen, okay, ist das realistisch?

Angela: Dann müssen wir mal schauen, wie oft passiert das jetzt?

Angela: Und was ist der Produktionsausfall, der dadurch entsteht? Und ist die Firma wirklich gewillt?

Angela: Ist dieser Produktionsausfall proportional zu der Risiko?

Angela: Ja, sorry.

Monina: Entschuldigung, ich wollte nicht rein. Ich finde, da ist ein wichtiger Punkt

Monina: mit drinnen, wenn man direkt so eine Handlungsempfehlung bekommt.

Monina: Das nimmt ja dann den Punkt, dass man sich dann irgendwie dafür schämt vielleicht,

Monina: dass man da jetzt drauf geklickt hat.

Monina: Das andere ist ja so ein, man hat jetzt was falsch gemacht, man muss sich jetzt

Monina: dafür schämen, man muss jetzt dafür eine Strafe verbüßen.

Monina: Aber es ist ja im Gegenteil, wenn dann wirklich mal was passiert ist,

Monina: wichtig, dass man sofort reagiert.

Monina: Und da so ein bisschen wäre meine Frage auch, wie kann man denn dann die Scham

Monina: abbauen bei den Leuten, sowohl nachzufragen so, hey, oh, ich glaube,

Monina: da ist jetzt was passiert,

Monina: wie muss ich denn jetzt vorgehen? Also auch wenn dann was passiert ist,

Monina: dass man sich dann auch hinstellt und sagt, jo, war ein Fehler,

Monina: passiert jedem mal, ist mir jetzt passiert, jetzt machen wir aber weiter.

Monina: Also das ist, glaube ich, eigentlich ja fast der wichtigere Punkt,

Monina: dass die Leute sich das dann noch eingestehen und nicht erstmal noch drei Tage lang verschweigen.

Angela: Also ich verweise sehr oft auf die

Angela: Sicherheitsforschung, die Arbeitssicherheitsforschung und Unfallforschung.

Angela: Die ist ja sehr etabliert und da, die haben eigentlich in den 80er Jahren dieses

Angela: von wegen, wenn jetzt was, wenn ein Unfall passiert oder ein Flugzeug abstürzt.

Angela: Also bis zur Mitte der 80er Jahre war da auch diese Tendenz.

Angela: Man schaut auf die letzte Person, die irgendwas gemacht hat und der wird dann

Angela: die Schulter für zugewiesen.

Angela: Und da haben sie aber eben halt daraus gelernt, eben zu schauen,

Angela: warum ist es dazu gekommen und dann, dass wir also nicht nochmal so eine Situation

Angela: halt, dass wir das System verändern müssen, damit solche Situationen nicht entstehen.

Angela: Und daraus hat sich also eine Zeit redete man von einer sogenannten No-Blame-Culture,

Angela: also erstmal, dass es keine pauschale Schuldzuweisung gibt.

Angela: Wozu wir als Menschen eigentlich aber erst mal so tendieren,

Angela: aber dass es das nicht gibt.

Angela: Aber wir wollen natürlich auch nicht dem Vorschub leisten, das so von wegen,

Angela: ach, ist ja egal, alles ist egal, ich kann machen, was ich, ist nicht schön.

Angela: Sondern man redet heute von Just Culture, von einer fairen, einer gerechten, fairen Kultur.

Angela: Also auf der einen Seite bekomme ich nicht automatisch, da ist das keine Schuldzuweisung.

Angela: Auf der anderen Seite, wenn ich mich nach mehrmaliger Erinnerung und Ermahnung

Angela: und so weiter immer noch nicht ans sichere Verhalten halte oder so,

Angela: dann ist es natürlich schon meine Schuld, wenn es dann nachher zu einem Vorfall kommt.

Angela: Also das sage ich auch immer, wenn in so einer Unternehmensrichtlinie,

Angela: in den Policies Sanktionen angedroht werden,

Angela: dann muss man die auch anwenden, wenn es Menschen gibt, die immer wieder gegen

Angela: die Regeln verstoßen. Ansonsten kann man sich die Regeln nämlich gleich schenken.

Monina: Wie wäre denn dann eine gute Balance zwischen, Man hat diese Regeln,

Monina: die sagen, hey, das ist schon wichtig und wenn du es absichtlich oder mehrfach

Monina: falsch machst, ist das schlecht für alle Beteiligten. Deswegen gibt es eine Strafe.

Monina: Aber auch, wir möchten dich schon ermutigen, wenn was passiert,

Monina: dass du das dann meldest und dir jetzt keine Angst davor machen.

Monina: Aber wenn man jetzt von vornherein Angst davor hat, man könnte was falsch machen,

Monina: dann ist man verkrampft und macht wahrscheinlich auch wieder Fehler.

Monina: Das ist ja wahrscheinlich auch nicht sinnvoll.

Monina: Wie kriegt man dann eigentlich eine gute Balance hin zwischen diesen Bedrohungen,

Monina: die man aufbaut oder die man in den Raum stellt und auf der anderen Seite diese

Monina: Atmosphäre mit, man ist für einen Fehler nicht erstmal jetzt komplett bestraft

Monina: oder wird sofort bestraft?

Angela: Also was wir in meinem Forschungsteam und auch viele, da gibt es inzwischen

Angela: auch in Deutschland, auch in Großbritannien sehr, sehr viele Forschungsgruppen,

Angela: ist eigentlich, wie wir das umsetzen.

Angela: Wir entwickeln das Ganze gemeinschaftlich, also als einen kollaborativen Ansatz,

Angela: als einen dialogbasierten Ansatz zwischen Sicherheitsexpertinnen,

Angela: Risikomanagern auf der einen Seite und den Nutzerinnen und Nutzern auf der anderen Seite.

Angela: Das heißt also, dieses eben festzustellen, wie viel mal kann ich mir das leisten?

Angela: Also, dass ich etwas nicht mache. Oder eben, okay, jetzt ist es passiert, aber eigentlich….

Angela: Ist es einfach ein Fehler, der immer wieder passieren wird, weil hier grundsätzliche

Angela: Einschränkungen, die Menschen haben, nicht beachtet werden beim Design.

Angela: Das heißt also, wir haben zum Beispiel aus diesem Flugzeugabsturz und wurde sehr viel gelernt.

Angela: Und die Art, wie Cockpits gestaltet werden und wie Informationen an Piloten

Angela: gegeben, Pilotinnen und Piloten gegeben werden, das alles hat sich also enorm geändert.

Angela: Und man schaut jedes Mal immer wieder, wie viele Faktoren haben dazu beigetragen

Angela: und welche Faktoren können wir, das muss einfach ehrlich sein.

Angela: Und dann wird sich, wenn es tatsächlich nur daran liegt, dass jemand die Regel nicht befolgt hat,

Angela: aber es ist natürlich auch innerhalb eines Unternehmens, muss man sich da manchmal

Angela: auch überlegen, es gibt manchmal Aufgaben, die sind etwas schwieriger und kritischer

Angela: und erfordern vielleicht eine ganz besondere Aufmerksamkeit.

Angela: Da muss ich dafür sorgen, dass diese Positionen mit Leuten besetzt sind,

Angela: die das auch leisten können oder wollen.

Angela: Da sollte man dann auch nicht sagen. Also ich denke, wir alle kennen und lieben

Angela: ja Systemadministratoren zum Beispiel.

Angela: Manchmal stellen wir ja schon fest die sind sehr sehr gut in dem was sie tun

Angela: weil sie eben manchmal auch wirklich darauf.

Angela: Weil sie zum Beispiel sehr stark sich auf besondere Sachen fokussieren können

Angela: oder manchen Sachen sehr akribisch arbeiten können, aber das würde ich vielleicht

Angela: jetzt dann nicht von einem.

Angela: Einer Büromitearbeiterin verlangen dass sie diese Aufgaben auch durchführen kann.

Volker: Ich hätte nochmal einen Schwenk auf ein anderes Thema, nämlich mobile Geräte.

Volker: Solange ich im geschützten Unternehmenskontext bin, ist ja der Schutz,

Volker: ich sage mal zumindest systemisch, relativ einfach.

Volker: Sobald ich anfange mit VPNs einen Remote-Zugang zu meinem Unternehmen zu schaffen,

Volker: wird das Ganze ein ganz klein wenig schwieriger.

Volker: Und sobald ich einen Remote-Zugang habe, schützt mich auch niemand mehr so richtig

Volker: davor, dass Nutzerinnen und Nutzer ihr Handy dafür nutzen, zum E-Mail abrufen

Volker: oder irgendwelche, ich sag mal,

Volker: mittelständisches Unternehmen und die sind ganz stolz, dass sie die Buchung

Volker: jetzt auch remote freigeben können.

Volker: Ja, das mache ich jetzt vom Privathandy aus und nebenbei habe ich noch meine

Volker: 10 Gaming-Apps und was noch alles drauf.

Volker: Was, was, gibt es da eine Möglichkeit oder gibt es da nur diesen ganz harten

Volker: Cut, Unternehmen ist Unternehmen und fertig?

Angela: Nein, nicht unbedingt. Also ich würde sagen, dass ich weiterhin meine E-Mails

Angela: lesen kann oder meine Nachrichten empfangen kann oder so, das ist ja völlig okay.

Angela: Aber dass ich eben wirklich mit hohem Risiko behaftete Transaktionen einfach

Angela: so vom Handy ausführen kann, würde ich sagen, da würde ich diesen Cut machen.

Angela: Und das ist also eine Balance von, ich kann ja tatsächlich bestimmte,

Angela: entscheiden, welche Systeme, zu welchem System ich diesen Remote-Zugang mache.

Angela: Und es gibt, also wenn es um finanzielle Transaktionen oder hohe finanzielle

Angela: Verpflichtungen geht und so weiter, finde ich das, würde ich das nie dazu raten,

Angela: dass man das mal eben so vom Handy machen kann.

Angela: Weil das Fehlerpotenzial,

Angela: wenn ich einen kleinen Bildschirm habe und da kann ich also so zum Beispiel

Angela: Ikonen oder Zeichen gar nicht besonders genau erkennen.

Angela: Das andere ist auch, dass wir so ein bisschen, was wir gesehen haben,

Angela: sich da also was eingeschlichen hat, was eigentlich im Risikomanagement gar nicht geht.

Angela: Nämlich, dass also solche Sachen freigegeben von Einzelpersonen freigegeben

Angela: werden können, die eigentlich immer nur nach einem Vier- oder sogar Sechs-Augen-Prinzip

Angela: gemacht werden sollten.

Angela: Und da würde ich auch dafür plädieren, einfach mal zum guten,

Angela: good old fashioned Risikomanagement zurückzukehren und solche bestimmten,

Angela: wie das Vier-Augen-Prinzip, wie Separation of Concerns,

Angela: chinesische Mauern zwischen verschiedenen Sachen, das ist so ein bisschen,

Angela: das ist mit dem ganzen Remote auch so aus dem Fenster gegangen.

Angela: Aber diese Regeln hatten wirklich ihren guten Grund und die sollten wir nicht aufs Fenster werfen.

Monina: Wie dazu keiner spricht.

Angela: Ingo, weil du dich ja wirklich mit KI sehr gut auskannst, würde ich dich gerne mal was fragen.

Angela: Eine Sache, die mir große Sorgen macht, ist der Einsatz von KI in der Softwareentwicklung.

Angela: Wir machen auch sehr, sehr viele Studien mit Softwareentwicklern,

Angela: wo wir denen versuchen zu helfen, dass ihre Software sicher ist und dass die auch nutzbar sind.

Angela: Und was wir jetzt aber feststellen ist, dass wir oft von Leuten in der Unternehmensführung

Angela: hören, sodass sie sich jetzt von der KI erhoffen,

Angela: dass sie ganz, ganz viele von ihren Softwareentwicklern entlassen können,

Angela: weil die KI ja jetzt den Code automatisch schreiben kann.

Angela: Und ich bin da so ein bisschen entsetzt, weil ich weiß ja aus unserer Arbeit,

Angela: wie viel wir noch leisten müssen, um eben der, also das sagt sich so einfach, Security by Design.

Angela: Aber das tatsächlich auch in der Softwareentwicklung umzusetzen,

Angela: ist eine Riesenaufgabe.

Angela: Und eigentlich haben wir überhaupt nicht genug Leute im Moment,

Angela: nicht genug Entwickler im Moment, um wirklich Secure by Design Software zu entwickeln.

Angela: Wie siehst du das? Mache ich mir da unnötig Sorgen?

Ingo: Ich würde immer von einer Hoffnung und von einer großen Skepsis sprechen.

Ingo: Also das ist das, was wir bei KI ja immer wieder sehen. Also wir haben im Prinzip

Ingo: mit der generativen KI ja ganz viele Möglichkeiten, aus bekannten Material,

Ingo: neues Material zu erzeugen.

Ingo: Das geht von Text, bei Programmen geht es genauso.

Ingo: Aber es ist natürlich nicht so, dass die modernen KI-Systeme einfach nur eine

Ingo: Verknüpfung von alten Informationen vornehmen und einfach sagen,

Ingo: ich habe das Muster gesehen und das passt zu der Anfrage, die du hast.

Ingo: Sondern wir können natürlich auch dort noch besseres Reasoning einbauen.

Ingo: Also wir sprechen ja auch von symbolischer KI auch, also dass wir Regelwissen

Ingo: oder eben auch andere Reasoning-Mechanismen integrieren.

Ingo: Und das, was wir machen müssen in solchen Fällen, wäre eigentlich genau dafür

Ingo: zu sorgen, dass wir bei den Code-Generatoren dafür sorgen, dass eben noch die

Ingo: Security-Aspekte mit eingenommen werden.

Ingo: Aber um nochmal deinen Punkt aufzugreifen, das ist ja eben so schön gesagt,

Ingo: das Security bei Design ist ja eigentlich der richtige Schritt,

Ingo: in den wir gehen sollten in Zukunft.

Ingo: Also mein Standardbeispiel ist E-Mail, was ja ein Failed-System ist.

Ingo: Also ein schlimmeres, fehlerhaftes System gibt es ja gar nicht.

Ingo: Ich kriege gar nicht mal einen Hinweis davon, dass ich eine E-Mail,

Ingo: die überschrieben ist mit Amazon.de, dass die von irgendeinem Dritt-Sonst-was-Account

Ingo: herkommt, wird mir nicht mehr angezeigt in der E-Mail-System.

Ingo: Obwohl es eine ganz einfache, kausale Prüfung wäre, die gar keine Schwierigkeit erzeugt.

Ingo: Aber wenn wir ein Design machen, also wenn du jetzt ein Design anfertigst und

Ingo: sagst, ich habe eine bestimmte Vorstellung, wie Sicherheit in dem Software drin

Ingo: sein soll, dann wäre es ja Teil deines Promptings.

Ingo: Das heißt, es wäre Teil deiner Anfrage an das KI-System, diese entsprechenden

Ingo: Features zu generieren in dem System.

Ingo: Und wenn wir jetzt also mal die positive Seite sehen, also wir sind Sicherheitsforscher,

Ingo: die können bestimmte Design-Patterns entwickeln, die man gut ins System einfügen kann.

Ingo: Man hat ein gutes Verständnis darüber, wie man ein sicheres System herstellt

Ingo: und kann das einem Computer beibringen, also einer generativen KI beibringen.

Ingo: Es stellt diese Pattern zur Verfügung.

Ingo: Dann könnten wir damit sogar einen höheren Grad an Sicherheit erzeugen,

Ingo: weil bei mehr Anwendungen mit geringerer Kenntnis von Sicherheit schon Sicherheitselemente

Ingo: durch das System hinzugefügt werden.

Ingo: Das ist die positive Seite. Und die negative Seite.

Ingo: Unternehmen, die glauben, dass man jetzt sehr schnell mit KI Programmierer ersetzen

Ingo: kann oder Programmierinnen ersetzen kann, die werden noch ein ganz großes böses Erwachen erleben,

Ingo: weil wir zwar sehr schnell Programmierer unterstützen können,

Ingo: also wir Programmierer mit einer höheren Effizienz ausstatten können,

Ingo: aber die Substitution, also der Ersatz von Fähigkeiten,

Ingo: dass man sagt, wir brauchen keine Spezialisten mehr in diesem Ort,

Ingo: sondern es reicht jetzt, wenn wir das prompten.

Ingo: Das ist noch sehr, sehr weit weg von der Welt und das wird eher dazu führen,

Ingo: dass man eben dann auch im Status quo ein bisschen festhängt.

Ingo: Also weil man ja auch gerade, wenn neue Entwicklungen kommen,

Ingo: braucht man ja immer sehr schnell wieder Menschen, die Dinge zusammen kombinieren

Ingo: oder auch dann erkennen können, ob DKI in die richtige Richtung arbeitet oder nicht arbeitet.

Ingo: Also von daher, ich mache mir weniger Sorgen um die Arbeitsplätze.

Ingo: Ich glaube, da haben wir noch viel zu tun.

Ingo: Ich freue mich immer ein bisschen darüber, dass ich sage, wir kriegen vielleicht

Ingo: ein ganz bisschen den Fachkräftemangel damit in den Griff, dass wir nicht ganz

Ingo: so viele zubauen müssen, Entwickler und so weiter. wie wir es mal erwartet haben.

Ingo: Also gerade im Security-Bereich haben wir so viele verschiedene Themen,

Ingo: die auch gearbeitet werden müssen.

Ingo: Das ist ja gar nicht in einzelnen Personen abbildbar, aber es wird nur gehen

Ingo: mit sehr, sehr gut ausgebildeten Menschen, die eine sehr gut trainierte und

Ingo: auch eben entsprechend spezialisierte KI nutzen. Das wäre jedenfalls meine,

Ingo: hoffnungsvolle Antwort zum Ende des Podcasts.

Volker: Ja, finde ich gut. Ganz kurzen Kommentar noch von mir zu den E-Mails.

Volker: Auch da tatsächlich wieder, worüber wir heute schon die ganze Zeit reden,

Volker: vernünftig konfigurierte E-Mail-Server können eine sogenannte DMARC-Kennung abfragen.

Volker: Und da wird dann quasi zwischen dem Sende, also dem vermeintlichen Sendeserver,

Volker: der aus der URL genommen wird, und dem Empfangsserver, kurzen Zertifikate überprüft,

Volker: ob der Sendeserver wirklich das Zertifikat erzeugt hat, das dort empfangen wurde,

Volker: wenn überhaupt eins empfangen wurde.

Volker: Und wenn das nicht passt, wird die E-Mail sofort rausgefiltert als ganz klarer Phishing-Versuch.

Volker: Aber da sind wir wieder am Anfang unserer Diskussion.

Volker: Das passiert nicht auf dem User-Desk, das passiert im System.

Volker: Das muss dafür konfiguriert werden.

Angela: Das ist es dann eben. Dann kann ich meinen Mitarbeitenden sagen,

Angela: hier sind die verifizierten E-Mails, die kannst du durcharbeiten ohne der Gedanke.

Angela: Aber die, die nicht verifiziert sind, da musst du bitte mal also dann umschalten,

Angela: in den misstrauischen Modus schalten.

Angela: Und das genau, das ist eine super Unterstützung.

Angela: So können dann durch dieses verbesserte System, wird dann die schwierige Aufgabe,

Angela: Phishing-E-Mails zu erkennen, können dann die Nutzerinnen und Nutzer damit einfacher umgehen.

Angela: Ja, das ist ein super Beispiel.

Volker: Bevor wir jetzt zum Ende des Podcasts kommen, hast du noch an uns irgendeine

Volker: Frage oder eine Nachricht oder an die Hörerinnen und Hörer, so nach dem Motto

Volker: Weltfrieden funktioniert genauso? so?

Angela: Ich würde es da wieder mit meinem Lieblingssatz zusammenfassen.

Angela: Es ist, Sicherheit ist machbar, Nutzerinnen und Nutzer und Experten zusammen

Angela: mit gutem Willen und mit Einsatz von Wissen, das wir schon haben, wie ich immer sage.

Angela: Es ist keine Raketenwissenschaft, aber wir müssen alle unsere Hausaufgaben machen.

Volker: Dankeschön, Angela. Jetzt ganz kurz noch zur Zusammenfassung.

Volker: Wir können also sagen, wir haben genügend Werkzeuge auf Systemebene.

Volker: Vielleicht geht alles immer noch besser, aber diese Werkzeuge müssen genutzt

Volker: werden, so wie Password Manager oder irgendwelche Authentifikations-Sticks oder

Volker: wenn ich zum Beispiel eine Pathkey-Authentifikation mache,

Volker: dann sollte das ein weiterer Faktor sein, der bitte nicht auf demselben System

Volker: läuft, wie das authentifiziert werden soll, sondern bitte auch den zweiten Faktor dann nutzen.

Volker: Solche Sachen, die müssen aber systemseitig geliefert werden.

Volker: So ganz entlassen wir Nutzerinnen und Nutzer auch nicht aus ihrer Verantwortung, wo wir sagen,

Volker: naja, es muss ein Security-Basistraining existieren und es muss eine Minimalbereitschaft

Volker: da sein, die Unternehmens-Policies auch wirklich einhalten zu wollen.

Volker: Und wenn die Policies zu schwer werden, dann geht es wieder zurück ins Unternehmen,

Volker: dass die machbarer und automatisierter werden.

Volker: Dann sehen wir noch Nutzer und Nutzerinnen weniger als Teil des Problems,

Volker: sondern mehr als erste Stufe der Rettungstätte.

Volker: Bedeutet, wenn irgendwas passiert, jetzt kein Blaming machen,

Volker: sondern zunächst erstmal sagen, okay, folgender Handlungsablauf.

Volker: Das BSI hat zum Beispiel so schöne Notfallkarten, die neben den,

Volker: keine Ahnung, Krankenhäusern und Infrastruktureinrichtungen auch als dritte

Volker: Karte sagen, IT-Notfallnummer, folgende fünf Maßnahmen einhalten.

Volker: Gibt es? Warum die nicht an die Türen hängen?

Volker: Ja, und damit sind wir schon am Ende angekommen. Ich danke dir, Angela,

Volker: und hoffe, dass wir noch auch in Zukunft nette Interaktionen bekommen werden,

Volker: wenn es neue aktualisierte Themen zu diesen Human-Centered-Security-Fragen gibt.

Monina: Gut, das war die Sicherheitslücke bei uns heute zum Benutzer Human-Centered Security.

Monina: Vielen Dank an unsere Gästin Angela Sasse. Es war schön, dass du da warst.

Monina: Ihr könnt die Sicherheitslücke überall dort finden, wo es Podcasts gibt und

Monina: auf unserer Webseite www.sicherheitsluecke.fm. Gebt uns gern Feedback.

Monina: Das geht über unsere Webseite, auf Mastodon und seit Neuestem auch auf LinkedIn.

Monina: Wir lesen das Feedback, wir nehmen das auf, wir versuchen das mit unterzubringen.

Monina: Die Links, die wir angesprochen haben oder die sich hier heraus ergeben haben,

Monina: findet ihr in den Shownotes, genau wie ein paar weiterführende Links zu den Themen.

Monina: Empfehlt den Podcast gerne weiter, bewertet uns dort, wo ihr uns hört.

Monina: Das hilft uns, dabei gefunden zu werden und vielleicht noch weitere Ideen dann

Monina: zu bekommen, auch neue Gäste und Gästinnen zu bekommen.

Monina: Die Kapitelbilder zu unseren Folgen kommen wieder von Anne Vogt und die Produktion

Monina: übernimmt Christian Friedrich. Auch an die beiden ein herzliches Dankeschön.

Monina: Die Sicherheitslücke ist ein Podcast der Hamburg Open University.

Monina: Vielen Dank für die Unterstützung. Wir verabschieden uns und bis zur nächsten Folge.

Ingo: Monina Schwarz, Ingo Timm.

Angela: Volker Skwarek und Angela Sasse.