Bericht KI und Deep Fakes verschärfen Risiken für Kinder und Jugendliche im Netz

Künstliche Intelligenz verschärft bestehende Risiken für junge Menschen im Internet. Zu diesem Ergebnis kommt der am Mittwoch in Berlin präsentierte Jahresbericht von Jugendschutz.net. Vor allem durch Deep Fakes, Deep Nudes oder Pornografie (Deepporn) und den eingehenden technischen Manipulationen entstehen der Organisation zufolge erhebliche Gefahren für individuelle Persönlichkeitsrechte als auch für den demokratischen Willensbildungsprozess.

Zentrale Problemstellen seien dabei sexualisierte Gewalt, Cybermobbing und Extremismus. "Aktuell macht es generative KI immer schwerer, Realität von Fälschung zu unterscheiden", heißt es in dem Bericht.

Dies führe dazu, dass insbesondere Kinder und Jugendliche kaum abschätzen könnten, "wie vertrauenswürdig übermittelte Informationen sind oder welche persönlichen Daten sie problemlos preisgeben können." Besonders problematisch sei, dass sich Fremde mit Hilfe von Chatbots und Stimmgeneratoren noch einfacher als Gleichaltrige ausgeben könnten. Auch liefere der Einsatz von KI oft falsche oder unpassende Ergebnisse und bringe Kinder dadurch in Gefahr.

Die Organisation hat nach eigenen Angaben 2023 fast 5.000 Fälle mit Darstellungen sexualisierter Gewalt dokumentiert. Der Großteil der registrierten Verstöße seien dabei Aufnahmen aus Videochats. Diese Aufnahmen entstünden oftmals in der Folge von Cybergrooming und zeigten vor allem leicht bekleidete oder nackte minderjährige Mädchen in sexualisierten Posen oder bei sexuellen Handlungen. "Auch Bilder und Videos, die wahrscheinlich einvernehmlich im Rahmen von Sexting entstanden, werden missbräuchlich zugänglich gemacht", so der Bericht.

Der Bericht warnt zudem vor anderen Gefahren für Kinder und Jugendliche im Netz. So hätten 2023 beispielsweise Mutproben, dubiose Challenges in Sozialen Medien und Spiele großen Zulauf gehabt. Darüber hinaus nutzten Extremisten aktuelle Krisen, um Nutzer im Netz zu indoktrinieren und zu radikalisieren. Bei Themen wie Klimawandel oder Kriege stoßen sie schnell auf Desinformationen, Hassinhalte und Gewaltdarstellungen, so der Bericht. Die Jugendschutz.net ist das gemeinsame Kompetenzzentrum von Bund und Ländern für den Schutz von Kindern und Jugendlichen im Internet.

Die Missbrauchsbeauftragte der Bundesregierung, Kerstin Claus, fordert einen besseren Schutz von Kindern und Jugendlichen im Internet. Bildrechte: IMAGO/Chris Emil Janßen

Die Missbrauchsbeauftragte der Bundesregierung, Kerstin Claus, fordert einen besseren Schutz von Kindern und Jugendlichen im Internet. Sie sagte, viele Minderjährige würden es mitlerweile als normal empfinden, mit sexueller Gewalt konfrontiert zu werden.

Der Gesetzgeber müsse Online-Anbieter stärker in die Pflicht nehmen, Kinder und Jugendliche nicht mit unangemessenen Inhalten in Berührung kämen. Im Fokus stehen für Claus vor allem die sozialen Netzwerke, Videoplattformen und Online-Spiele mit Chatfunktion.

Die Bundesregierung hat die Problem schon länger erkannt und plant eines Gesetzesänderung. Die Technologie stelle "eine für den Staat und seine Bürgerinnen und Bürger besonders gefährliche Form der Informationsmanipulation dar." Die Änderung sieht vor, dass zukünftig eine digitale Fälschung bestraft werden soll, wenn diese das Persönlichkeitsrecht durch verändertem Medieninhalt einer anderen Person verletzt.

Das soll auch für Verstorbene gelten, so der Gesetzesvorschlag. Dafür schlägt der Bundesrat die Schaffung des §201b Strafgesetzbuch (StGB) vor. Dieser wurde in den Bundestag eingebracht, wo er erneut zur Debatte steht. Wann über die Reform entschieden wird ist nicht bekannt.

Bisher gibt es keine strafrechtliche Regelungen bezüglich Deep Fakes. Eine bloße Kennzeichnungspflicht von Deep Fakes würden die Auswirkung für die Betroffenen nicht gerecht werden, heißt es im Entwurf.

KNA/epd/AFP (lmb)