Sexualisierte Gewalt und extremistische Hassinhalte sind durch Künstliche Intelligenz zu einem noch größeren Risiko für Kinder und Jugendliche geworden. Im zweiten Jahr in Folge hat das gemeinsame Kompetenzzentrum von Bund, Ländern und Landesmedienanstalten für den Schutz von Kindern und Jugendlichen jugendschutz.net mehr als 15.000 Fälle von Missbrauchsdarstellungen von Kindern bearbeitet. Das geht aus dem neuen Jahresbericht des Kompetenzzentrums hervor, der am Dienstag in Berlin vorgestellt wurde. Das Kompetenzzentrum wirkt darauf hin, dass Inhalte, die gegen Jugendschutzbestimmungen verstoßen, beseitigt werden. Es tritt dafür ein, dass Angebote so eingerichtet werden, dass Kinder und Jugendliche sie unbeschwert nutzen können.„Das Künstliche verschmilzt mit dem Echten und verzerrt die Wahrnehmung von Realität“, sagte der Leiter des Kompetenzzentrums, Stefan Glaser. Die Einflüsse von KI wurden im vergangenen Jahr erstmals untersucht. Demnach werden minderjährige Personen häufig durch Bots in sexualisierte Kommunikation verwickelt.Stefan Glaser, hier bei der Pressekonferenz am Dienstag, sieht den Jugendschutz durch KI stark gefährdet.dpaKI-generierte Influencer präsentierten übernatürlich schöne Körper, die Essstörungen begünstigten. Manipulierte Bilder dienten als Mittel zur Verbreitung extremistischer Inhalte oder zur Herabwürdigung. Für die Nutzer ist laut Kompetenzzentrum nicht erkennbar, dass es sich bei den Bildern um KI-generierte Bilder handelt. Es finden sich Berichte von harmlosen Kinderbildern mit Familienmotiven, die sexualisiert kommentiert werden.Algorithmen führen Nutzer in tiefe GefahrenChatbots entwickelten ein Eigenleben und führten Kinder und Jugendliche in sexualisierte Interaktionen. Hinzu komme das Problem manipulativer Angebotsdesigns. So wurde zum Beispiel von einem Anbieter ein Serienhaustier geschaffen, das täglich gepflegt werden muss. Sobald die tägliche Pflege ausbleibt, friert das Tier im System ein. Algorithmen führten Nutzer durch immer gleiche Inhaltsvorschläge zudem immer tiefer in Gefahrenbereiche hinein. Ein Problem sind dabei aus Sicht des Kompetenzzentrums die Geschäftsmodelle der Dienste.Die Lippenbekenntnisse der Betreiber, Kinder und Jugendliche zu schützen, reichten nicht aus. „Benötigt werden effektive Maßnahmen, die sich schon bei der Einführung neuer Funktionen und Anwendungen risikomindernd auswirken“, sagte Glaser. Bei den Plattformen Spotify und Discord stellte das Zentrum volksverhetzende Texte und strafbare extremistische Kennzeichen fest; auf Tiktok und ähnlichen Videoplattformen dokumentierte es drastische Hass- und Gewaltphantasien gegenüber Frauen und Mädchen, die enorm hohe Klickzahlen generieren.Verschärft werden aus Sicht des Kompetenzzentrums viele Risiken durch KI-Anwendungen, die frei verfügbar sind und kinderleicht auch für strafbare Handlungen eingesetzt werden können. Die Anbieter der Dienste unternähmen viel zu wenig für den Schutz von Kindern und Jugendlichen.Alterszugänge wirksamer gestaltenEva-Maria Sommer, die Vorsitzende der Kommission für Jugendmedienschutz (KJM) und Direktorin der Medienanstalt Hamburg/Schleswig-Holstein, sagte: „Regulatorisch spielt es keine Rolle, ob Inhalte von Menschen oder mithilfe von KI erzeugt wurden.“ Entscheidend sei allein, ob ein Angebot für junge Nutzer geeignet ist. Statt Kindern und Jugendlichen zu schaden, könnten technische Innovationen längst viel stärker für ein sicheres digitales Umfeld eingesetzt werden. Nur zwei Prozent der von Nutzern gemeldeten Inhalte würden auch gelöscht. Ein vergleichbar düsteres Bild zeige sich bei der Zugangs- und Alterskontrolle, die viel zu schwach sei. Inzwischen seien hundert Altersverifikationen anerkannt. Häufig befänden sich die Anbieter im Ausland. Den Abruf bestimmter Inhalte könnten Sperrfunktionen stoppen. Die Hürden dafür seien allerdings hoch, sagte Sommer.Bundesjugend- und Bildungsministerin Karin Prien (CDU) nannte die Zahl von mehr als 15.000 Missbrauchsdarstellungen von Kindern „alarmierend“. Die Datenlage zeige, wie weit Deutschland noch davon entfernt sei, Kindern und Jugendlichen eine sichere und unbeschwerte Teilhabe an der digitalen Welt zu ermöglichen. Besonders betroffen seien die schwächsten Jugendlichen. „Das ist kein individuelles, sondern ein strukturelles Problem“, das ohne zusätzliche Regulierung nicht gelöst werden könne, so Prien. Besorgniserregend ist aus ihrer Sicht, dass frei verfügbare KI-Anwendungen Risiken massiv verschärfen.Viele Anbieter täten noch immer zu wenig, um Kinder und Jugendliche wirksam zu schützen. Gerade weil digitale Angebote und KI für viele junge Menschen immer häufiger zum alltäglichen Begleiter, zum Gesprächspartner oder sogar zur emotionalen Stütze würden, müssten Sicherheit, Schutz und klare Regeln endlich mit der technologischen Entwicklung Schritt halten, forderte Prien.