Ein Mädchen schaut auf einen Bildschirm
Bildrechte: IMAGO

Bericht KI und Deep Fakes verschärfen Risiken für Kinder und Jugendliche im Netz

28. August 2024, 17:58 Uhr

Künstliche Intelligenz und die Verwendung von Deep Fakes verschärft bestehende Risiken für Kinder und Jugendliche Menschen im Internet. Das zeigt ein Bericht einer Jugendschutzorganisation. Demnach entstehen erhebliche Gefahren für individuelle Persönlichkeitsrechte und verstärke Risiken wie sexualisierte Gewalt, Mobbing und Extremismus. Die Missbrauchsbeauftragte der Bundesregierung fordert einen besseren Schutz für junge Menschen im Netz. Die Bundesregierung plant eine Gesetzesänderung.

Künstliche Intelligenz verschärft bestehende Risiken für junge Menschen im Internet. Zu diesem Ergebnis kommt der am Mittwoch in Berlin präsentierte Jahresbericht von Jugendschutz.net. Vor allem durch Deep Fakes, Deep Nudes oder Pornografie (Deepporn) und den eingehenden technischen Manipulationen entstehen der Organisation zufolge erhebliche Gefahren für individuelle Persönlichkeitsrechte als auch für den demokratischen Willensbildungsprozess.

Bericht: KI und Deep Fake Gefahr für Persönlichkeitsrechte von Kindern und Jugendlichen

Zentrale Problemstellen seien dabei sexualisierte Gewalt, Cybermobbing und Extremismus. "Aktuell macht es generative KI immer schwerer, Realität von Fälschung zu unterscheiden", heißt es in dem Bericht.

Was sind Deep Fakes? Deep Fakes sind hochwertige Fälschungen von Ton-, Bild- und Videoaufnahmen. Mitunter werden Gesichter oder andere Körperteile mittels KI-Technologie generierte Medieninhalte in Videos ausgetauscht, Mimik und Gestik gezielt gesteuert oder Stimmen nachgeahmt. Dadurch können Personen Handlungen zugeschrieben oder Aussagen in den Mund gelegt werden, die diese nie getan oder nicht geäußert haben.

Durch Deep Fakes können Persönlichkeitsrechte verletzt und die Meinungsbildung im digitalen Raum missbraucht werden.

Dies führe dazu, dass insbesondere Kinder und Jugendliche kaum abschätzen könnten, "wie vertrauenswürdig übermittelte Informationen sind oder welche persönlichen Daten sie problemlos preisgeben können." Besonders problematisch sei, dass sich Fremde mit Hilfe von Chatbots und Stimmgeneratoren noch einfacher als Gleichaltrige ausgeben könnten. Auch liefere der Einsatz von KI oft falsche oder unpassende Ergebnisse und bringe Kinder dadurch in Gefahr.

Ein jugendliches Mädchen schaut betroffen von ihrem Smartphone auf. Im Hintergrund sind zwei Mädchen lachend über ein Handy gebeugt. 11 min
Mobbing findet längst auch im Netz statt. Das sogenannte Cybermobbing kann dadurch überall und rund um die Uhr geschehen. Täter und Täterinnen agieren häufig aus der Anonymität heraus. Bildrechte: MDR MEDIEN360G & iStock
11 min

Jederzeit, überall, anonym. Mobbing gibt es schon immer, aber durch digitale Medien sind Opfer den Angriffen ständig ausgesetzt und können kaum entfliehen. Doch auch Cybermobbing kann zur Anzeige gebracht werden.

MEDIEN360G Sa 01.07.2023 12:00Uhr 10:57 min

Rechte: MITTELDEUTSCHER RUNDFUNK

Video

Weitere Gefahren für Kinder: Cybergrooming, Mutproben und Challenges

Die Organisation hat nach eigenen Angaben 2023 fast 5.000 Fälle mit Darstellungen sexualisierter Gewalt dokumentiert. Der Großteil der registrierten Verstöße seien dabei Aufnahmen aus Videochats. Diese Aufnahmen entstünden oftmals in der Folge von Cybergrooming und zeigten vor allem leicht bekleidete oder nackte minderjährige Mädchen in sexualisierten Posen oder bei sexuellen Handlungen. "Auch Bilder und Videos, die wahrscheinlich einvernehmlich im Rahmen von Sexting entstanden, werden missbräuchlich zugänglich gemacht", so der Bericht.

Sexting und Cybergrooming Unter Sexting, einer Kombination aus "Sex" und "Texting", versteht man das Versenden und Empfangen selbstproduzierter, freizügiger Aufnahmen per Computer oder Smartphone.

Cybergrooming bezeichnet die Anbahnung sexueller Kontakte mit Minderjährigen im Internet.

Der Bericht warnt zudem vor anderen Gefahren für Kinder und Jugendliche im Netz. So hätten 2023 beispielsweise Mutproben, dubiose Challenges in Sozialen Medien und Spiele großen Zulauf gehabt. Darüber hinaus nutzten Extremisten aktuelle Krisen, um Nutzer im Netz zu indoktrinieren und zu radikalisieren. Bei Themen wie Klimawandel oder Kriege stoßen sie schnell auf Desinformationen, Hassinhalte und Gewaltdarstellungen, so der Bericht. Die Jugendschutz.net ist das gemeinsame Kompetenzzentrum von Bund und Ländern für den Schutz von Kindern und Jugendlichen im Internet.

Ein Mädchen auf dem Display eines Mobiltelefons. 29 min
Bildrechte: MITTELDEUTSCHER RUNDFUNK

Missbrauchsbeauftragte der Bundesregierung fordert besseren Schutz für Kinder und Jugendliche

Kerstin Claus
Die Missbrauchsbeauftragte der Bundesregierung, Kerstin Claus, fordert einen besseren Schutz von Kindern und Jugendlichen im Internet. Bildrechte: IMAGO/Chris Emil Janßen

Die Missbrauchsbeauftragte der Bundesregierung, Kerstin Claus, fordert einen besseren Schutz von Kindern und Jugendlichen im Internet. Sie sagte, viele Minderjährige würden es mitlerweile als normal empfinden, mit sexueller Gewalt konfrontiert zu werden.

Der Gesetzgeber müsse Online-Anbieter stärker in die Pflicht nehmen, Kinder und Jugendliche nicht mit unangemessenen Inhalten in Berührung kämen. Im Fokus stehen für Claus vor allem die sozialen Netzwerke, Videoplattformen und Online-Spiele mit Chatfunktion.

Bundesregierung plant Gesetzesänderung zu Deep Fakes

Die Bundesregierung hat die Problem schon länger erkannt und plant eines Gesetzesänderung. Die Technologie stelle "eine für den Staat und seine Bürgerinnen und Bürger besonders gefährliche Form der Informationsmanipulation dar." Die Änderung sieht vor, dass zukünftig eine digitale Fälschung bestraft werden soll, wenn diese das Persönlichkeitsrecht durch verändertem Medieninhalt einer anderen Person verletzt.

Das soll auch für Verstorbene gelten, so der Gesetzesvorschlag. Dafür schlägt der Bundesrat die Schaffung des §201b Strafgesetzbuch (StGB) vor. Dieser wurde in den Bundestag eingebracht, wo er erneut zur Debatte steht. Wann über die Reform entschieden wird ist nicht bekannt.

Bisher gibt es keine strafrechtliche Regelungen bezüglich Deep Fakes. Eine bloße Kennzeichnungspflicht von Deep Fakes würden die Auswirkung für die Betroffenen nicht gerecht werden, heißt es im Entwurf.

KNA/epd/AFP (lmb)

Dieses Thema im Programm: MDR AKTUELL | 28. August 2024 | 12:30 Uhr

Mehr aus Politik

Polizisten, Auto Gebäude 1 min
Islamische Zentrum al-Salam verboten Bildrechte: MDR
1 min 12.09.2024 | 13:38 Uhr

Brandenburgs Innenminister Michael Stübgen hat das Islamische Zentrum Fürstenwalde "al-Salam" verboten. Die Polizei durchsuchte Räume des Vereins sowie Privatwohnungen in Brandenburg und Berlin.

Do 12.09.2024 10:08Uhr 00:31 min

https://www.mdr.de/nachrichten/deutschland/politik/video-islam-fuerstenwalde-zentrum-al-salam-berlin-brandenburg-stuebgen100.html

Rechte: MITTELDEUTSCHER RUNDFUNK

Video

Mehr aus Deutschland