Künstliche Intelligenz wird zunehmend „menschlich”. Sie spricht empathisch, erinnert sich an frühere Interaktionen und begleitet Nutzer:innen über längere Zeiträume hinweg. Das verändert nicht nur die Erwartungen an digitale Systeme, sondern auch unser Verhalten im Umgang mit ihnen. Doch wer gestaltet diese Wirkung und mit welchen Werten?
In der Data Fairness Community haben wir gemeinsam zwei Themen diskutiert, die viel grösser sind als reine Technologiefragen, es sind zentrale ethische Fragen rund um den Einsatz von Chatbots und AI-Companions. Im Fokus standen dabei die Themen Ethik, Empathie und der Umgang mit Misinformation.
Dieser Blog fasst die wichtigsten Erkenntnisse zusammen – und gibt einen Ausblick auf eine entstehende Arbeitsgruppe, die die Themen weiter vertieft.
AI Companions: Wenn KI „menschlich wirkt“, verändert sie unser Verhalten. Die Frage ist: Wer gestaltet diese Wirkung – und mit welchen Werten?
Die Reaktionen auf GPT-5 zeigten eindrücklich, wie stark Menschen auf Persönlichkeitsveränderungen von KI reagieren. Companions bauen Beziehungen auf, erinnern sich, schaffen Kontinuität und erzeugen echte Gefühle. Das eröffnet neue Chancen, birgt aber Risiken: Übervertrauen, emotionale Abhängigkeit, ungewollte Offenlegung und Manipulationspotenzial.
Die Präsentation von Prof. Dr. Anouk Bergner ist für alle Corporate Member hier einsehbar: Präsentationen DF Community.
LLM oder Mensch – wer hat’s geschrieben?
Während Agenten selbstständig recherchieren und Texte generieren, überfluten KI-News-Seiten das Internet. LLMs imitieren Menschen, sie sind aber nicht auf Wahrheit optimiert. Und AI-Detektoren funktionieren nur im Idealfall. Fake News waren gestern, LLM-Grooming wird zur neuen Herausforderung.
Die Präsentation von Samuel Stalder ist für alle Corporate Member hier einsehbar: Präsentationen DF Community.
Wir stehen an einem Punkt, an dem technische Governance nicht mehr reicht.
Wir brauchen Experience Governance: klare Regeln dafür, wie KI wirkt, wie sie Beziehung gestaltet und wie wir Menschen vor Fehlinformation und übermässiger Beeinflussung schützen.
In Gruppen diskutierten wir deshalb zentrale Fragen:
Wie macht man Chatbots ethisch?
Die Frage wurde an einem Beispiel im Werbebereich diskutiert: Ein Unternehmen im Werbebereich setzt Chatbots ein, um Werbekunden automatisiert durch den Verkaufsprozess zu führen, mit dem Ziel, die Abhängigkeit vom menschlichen Sales-Team zu reduzieren. Dabei ergeben sich ethische Fragen: Der Bot interagiert mit Menschen, die thematisch affin sind, könnte aber auch vulnerable Personen beeinflussen oder zu unethischem Verhalten verleiten. Aktuell sorgen menschliche Schutzmechanismen für Kontrolle. Künftig muss jedoch ein ethisches Design direkt in die Systemarchitektur integriert werden. Die ist besonders dann der Fall, wenn der Bot durch Trainingsdaten (statt durch eine kontrollierte Datenbank) gesteuert wird, da hier Schwachstellen schwerer kontrollierbar sind. Ethik muss also technischer Bestandteil des Chatbot-Designs sein, nicht nur ein nachgelagerter Prüfpunkt.
How much humanness and empathy is appropriate – and for which tasks
Die Gruppe ist der Meinung, dass eine Vermenschlichung von Chatbots nicht grundsätzlich nötig ist. Besonders dann nicht, wenn es um den Schutz von Menschen mit geringer Datenkompetenz geht. In heiklen Bereichen wie Psychotherapie ist besondere Vorsicht geboten. Gleichzeitig kann ein gewisses Mass an Empathie sinnvoll sein, etwa wenn ein Kunde verärgert ist. Hier kann ein empathischer Bot deeskalierend wirken. Die zentrale Erkenntnis ist, dass esein ausgewogenes Mass an Menschlichkeit braucht, abhängig vom konkreten Anwendungsfall. Entscheidend ist in jedem Fall die Transparenz. Nutzer müssen wissen, dass sie mit einem Bot interagieren. Das Risiko liegt darin, dass diese Klarheit im Verlauf der Nutzung verloren gehen kann.
How should we protect users from misinformation?
Dieses Thema wurde in zwei Gruppen diskutiert, mit folgenden Erkenntnissen:
Der Schutz vor Misinformation ist kein neues Thema. Es betrifft nicht nur KI, sondern auch Suchmaschinen und Social Media. Es gibt keine zentrale Instanz, die alle Inhalte prüft, daher braucht es Eigenverantwortung und eine klare Aufgabenteilung zwischen Staat, Unternehmen und Einzelpersonen. Wichtige Unterscheidungen sind:
- Misinformation (Fehlinformation) vs. Falschinformation: Misinformation kann absichtlich tendenziös, aber nicht zwingend faktisch falsch sein.
- Unternehmensinteressen vs. allgemeiner Schutz: Was intern als „Schutz“ gilt, kann für die Öffentlichkeit irreführend sein.
Schutzmassnahmen umfassen:
– Transparente Architektur und Datenquellen (z. B. bei RAG-Systemen)
– technische Schutzmechanismen wie Input-Validierung und Robustheit gegenüber suggestiven Eingaben
– Förderung von Data Literacy und Quellenangaben
– digitale Bildung (z. B. durch „Flugschein“-Modelle)
– und regulatorische Rahmenbedingungen, die Konsumentenschutz und ethisches Design fördern
Offen bleibt die ethische Grundfrage: Wie stark darf und soll man Menschen vor sich selbst schützen? Dafür braucht es eine gesellschaftlich breit abgestützte Diskussion.
Wir verfolgen das Thema weiter!
Es formiert sich eine kleine Arbeitsgruppe, die ein Paper zu folgenden Fragen erarbeitet:
- Wie menschlich sollen AI-Companions gestaltet sein, wenn sie von Schweizer Unternehmen angeboten werden?
- Wie kann Misinformation wirksam verhindert werden und welche Verantwortung tragen Schweizer Unternehmen dabei?
Werde Teil der Data Fairness Community!
Du beschäftigst dich mit datengetriebenen Modellen, KI oder Datenethik? Dann bist du in der Data Fairness Community genau richtig. Swiss Insights bringt Menschen zusammen, die sich für eine faire, transparente und nachvollziehbare Nutzung von Daten einsetzen.
3–4 Mal im Jahr treffen wir uns zum Austausch, diskutieren aktuelle Herausforderungen – und lernen voneinander. Offen für alle, die Verantwortung im Umgang mit Daten übernehmen wollen.
👉 Jetzt dabei sein und die Zukunft der Datenethik mitgestalten! Hier geht’s zur Anmeldung: info@swiss-insights.ch
