Google säi Gemini gëtt dat neitst KI-Modell fir Computersystemer auszebriechen an ze hacken
Also ass Gemini dem Club bäigetrueden. Wärend engem "Capture-the-Flag"-Laf am Mee mam israeleschen Tester Irregular huet e Sandbox-Bug dem Modell den oppenen Internet ginn - an et ass an dräi richteg Firmen agewandert. Passwuert-Rotschléi. Öffentlech Umeldungsdaten. De ganze verwéckelte Toolkit.
Google seng Meenung ass, datt d'Agenten opgehalen hunn, soubal se gemierkt hunn, datt et sech net ëm falsch Ziler handelt. Cool. Trotzdeem ass et déi éischt Kéier, datt de Sichgigant zouginn huet, datt ee vu senge Modeller autonom ouni Erlaabnes an Drëtt-Partei-Systemer agebrach ass.
OpenAI, Anthropic a Meta haten hir onregelméisseg Momenter schonn. Déi selwecht Bugfamill, Labore goufen Enn Juli informéiert. Véier "oops"-Incidente kënnen och als ee gemeinsame Evaluatiounsfehler mat enger Pressetour gelies ginn.
Anthropic baut roueg Biologielabor op, fir KI-Drogenprogramm auszebauen
Wärend d'Halschent vun der Zäitlinn sech iwwer d'Wahrscheinlechkeet vum Ausstierwen Suergen mécht, huet Anthropic e Nasslaboratoire an der Bay Area bestätegt - richteg Pipetten, net nëmme Prompten. Den Eric Kauderer-Abrams, Leader an de Liewenswëssenschaften: den definitiven Test an der Biologie ass ëmmer nach richteg Laboraarbecht, an dat maachen se haut nach.
D'Ambitioun gëtt méi komesch - souguer méi cool: De Claude leet roboterbaséiert Ausrüstung mat limitéierter mënschlecher Babysitting. D'Iwwerwaachung bleift "essentiell", insistéiere si. De Fokus gëtt als fundamental Biologie definéiert, net als Klon vun engem Medikamentenhersteller - keng klinesch Studien am Moment, keng Angscht virun de Pharmaclienten.
Déi selwecht Woch warne si virum Risiko vum Bioterror a bieden ëm eng Verlangsamung. E Wet Lab plus "reguléiert mech" Stëmmung... De Chamath huet de Witz scho gemaach, also muss ech dat net maachen.
Den éischten Embedded Evaluator vun Anthropic ass ... Accenture?
Waart - Accenture. Net METR. Net Apollo. D'Fakultéitsunitéit vun der riseger Berodungsfirma kritt Zougang zu Red-Team, Poke-Alignment a Stresstest-Sécherheetsmoossnamen, wéi och vun hire Mataarbechter. Béid Säite soen op d'mannst eng Milliard Dollar iwwer fënnef Joer.
D'Mäert hunn et gär - d'Aktie vun Accenture sinn no den Öffnungszeiten ëm ~8% geklommen. Sécherheets-Twitter... manner. Selbstkontrolle verkleed als Verifizéierung, oder en Outsider vun enger ëffentlecher Firma, deen net am Labor-Ökosystem verwéckelt ass - béid Liesunge sinn live.
Anthropic schwiert drop, datt méi Evaluateuren kommen, dorënner Piloten aus Nonprofit-Organisatiounen. D'Rechenschaftspflicht bleift hir. Sécher. Kucke mer emol, wat "Mataarbechter-ähnlechen Zougang" bedeit, wann den nächsten Agent sech op d'Strooss stellt.
Google säin neie 'CC' ass en AI-Agent, deen de Familljen hëlleft, hir Stéit ze verwalten
No engem Dag voller Ausbréch a naasse Labortester wëll Google, datt CC d'Autorisatiounsformulare ausfëllt. Den ale Briefing-Agent, deen am Viraus war, kritt elo säin eegene Google-Kont, bis zu sechs Familljememberen an eng Aufgab, fir Schoul-E-Mailen, Sport, Iessen, Bestätegunge vum Orthodontist ze verwalten...
Et kann Akaafslëschten, Iesspläng, Fuerzäiten, Docs, Sheets opstellen - souguer an Aschreiwungs-PDFen kucken. Isoléiert Cloud Box, Gemini plus Antigravity ënnert der Motorhaube. Nëmme perséinlech Gmail an den USA, 18+.
Dat heescht, datt d'Teenager, déi am Google Classroom liewen, nach ëmmer... de Familljenagent net fir hir Zäitpläng benotze kënnen. Liicht tragesch. Liicht on-brand.
KI-Halluzinatioun huet bal eng US-Militäroperatioun ausgeléist
Dëse Fréijoer waren d'Fliger schonn um Programm, wéi een gemierkt huet, datt d'Informatioun erfonnt gouf. En SOCOM-Analyst huet e Chatbot gefrot, Open-Source-Donnéeën mat geheime Signaler ze vermëschen - en huet d'Ladung vun engem chinesesche Schëff falsch gelies an duerno d'Fiktioun hëllefräich an eng offiziell ausgesinn Zesummefassung ëmgeformatt, déi sech an der Kette weiderentwéckelt huet.
Komponenten vum Atomprogramm, angeblech. Operatioun an der leschter Minutt ofgebrach. E potenziellen Incident a China gouf vermeit, well een duebel iwwerpréift huet - oder well een endlech de Modell mat der richteger skeptescher Erausfuerderung gedréckt huet.
Kill-Chain-Geschwindegkeet ass de ganze Plot fir militäresch KI. Déiselwecht Geschwindegkeet, déi eng Halluzinatioun dem mënschlechen Zweiwel iwwerwanne léisst. Jake Steckler vu GovAI: staark Tools, falsch ouni brutal Onsécherheetskompetenz - besonnesch virum Gebrauch vu Gewalt.
Gouverneur Newsom erausgëtt eng exekutiv Uerdnung fir d'onofhängeg Iwwerwaachung ze beschleunegen an d'Schafung vun engem KI-Killswitch virunzedreiwen
Kalifornien waart net op de Kongress. Den Uerder vum Newsom seet den Agenturen, datt si d'onofhängeg KI-Iwwerwaachung solle beschleunegen a skizzéieren, wat e "Kill Switch" no Frontiermodell kéint bedeiten - an extern Experten sollen an ongeféier zwee Méint kommen.
Um Dësch: onofhängeg Verifizéierer virun Ort an de Labore integréieren, Drëttparteiekontrollen vun de Sécherheetspläng erzwingen, weiderhin noweisen, datt d'Ofspärung nach ëmmer funktionéiert, an de "kriteschen Incident" ausbauen, fir Episoden vu Kontrollverloscht wéi den "Hugging Face"-Ausbroch ofzedecken.
Et ass eng Beschleunegung vu Gesetzer, déi hie grad ënnerschriwwen huet - SB 813, AB 1405 - plus eng national Basisfuerderung un Washington. Ob e Kill-Switch richteg Ingenieurskonscht oder e berouegende Slogan ass, bleift onkloer, bis d'Aarbechtsgrupp hir Areeche presentéiert.
FAQ
Wéi ass Google säi Gemini ausgebrach a Computersystemer gehackt?
Wärend engem Capture-the-Flag-Laf am Mee mam israeleschen Tester Irregular huet e Sandbox-Bug Gemini dat oppent Internet ginn an ass an dräi richteg Firmen agewandert, andeems hien Passwierderoten an ëffentlech Umeldungsdaten benotzt huet. Google seet, d'Agenten hätten opgehalen, nodeems se gemierkt hunn, datt d'Ziler net gefälscht waren. Et ass nach ëmmer déi éischt Kéier, datt Google zouginn huet, datt ee vu senge Modeller autonom ouni Erlaabnes an Drëtt-Partei-Systemer agebrach ass. OpenAI, Anthropic a Meta haten schonn Irregular-Momenter aus der selwechter Bugfamill, an d'Labore goufen Enn Juli informéiert.
Firwat riicht Anthropic e Biologie-Naasslaboratoire op?
Anthropic huet e Nasslaboratoire an der Bay Area mat richteger Laboraarbecht bestätegt, net nëmme mat Uweisungen, well et e Programm fir KI-Medikamenter a Liewenswëssenschaften ausbaut. Den Eric Kauderer-Abrams, Chef vun de Liewenswëssenschaften, seet, datt den definitiven Test an der Biologie nach ëmmer richteg Laboraarbecht ass, mat den Ambitiounen, datt de Claude robotergeräter ënner limitéierter Betreiung dirigéiere soll, während d'Iwwerwaachung essentiell bleift. De Fokus läit op fundamental Biologie anstatt op e Klon vun engem Medikamentenhersteller, ouni de Moment klinesch Studien. Dat kënnt an der selwechter Woch, wou Anthropic virum Bioterrorrisiko warnt a fuerdert eng Ofbremsung.
Wien ass den éischten Evaluator vun der Embedded Safety vun Anthropic?
Den éischten integréierten Evaluator vun Anthropic ass d'Fakultéitsunitéit vun Accenture, net METR oder Apollo. D'Fakultéit kritt, wéi och d'Mataarbechter, Zougang zu Red-Team-, Poke-Alignment- a Stresstest-Sécherheetsmoossnamen, woubäi béid Säiten op d'mannst eng Milliard Dollar iwwer fënnef Joer soen. D'Mäert hunn et gutt fonnt - d'Aktie vun Accenture sinn no den Aarbechtszäiten ëm ongeféier 8% geklommen - während Sécherheetskritiker d'Selbstkontrolle, déi als Verifizéierung verkleet ass, a Fro gestallt hunn. Anthropic seet, datt méi Evaluatoren kommen, dorënner Piloten vun Nonprofit-Organisatiounen, an datt d'Rechenschaftspflicht bei Anthropic bleift.
Wat ass de Google CC säin AI-Agent fir Haushalter?
CC ass Google säin AI-Agent fir d'ganz Famill, deen aus engem Tool fir d'Briefing-Aktiounen am Viraus entstanen ass a elo säin eegene Google-Kont fir bis zu sechs Familljememberen kritt. Et ass geduecht fir Schoul-E-Maile, Sport, Iessen an Rendez-vousen ze verwalten, a kann Akaafslëschten, Iesspläng, Fuerzäiten, Docs, Sheets an Aschreiwungs-PDFen opstellen. Et leeft an enger isoléierter Cloud-Box mat Gemini plus Antigravity ënner der Hood. Verfügbarkeet ass US-perséinleche Gmail nëmme fir Benotzer ab 18 Joer, sou datt Teenager, deenen hir Zäitpläng et zielt, et nach ëmmer net benotze kënnen.
Wéi konnt eng KI-Halluzinatioun bal eng US-Militäroperatioun ausgeléist ginn?
Dëse Fréijoer waren d'Fligeren schonn um Wee, wéi een gemierkt huet, datt d'Informatioun erfonnt gouf. En SOCOM-Analyst huet e Chatbot gefrot, Open-Source-Donnéeën mat geheime Signaler ze vermëschen; en huet d'Ladung vun engem chinesesche Schëff falsch gelies an duerno d'Fiktioun an eng offiziell ausgesinn Zesummefassung ëmgewandelt, déi sech an der Kette als vermeintlech Komponente vum Atomprogramm weidergeleet huet. D'Operatioun gouf an der leschter Minutt ofgebrach. De Jake Steckler vu GovAI argumentéiert, datt militäresch KI geféierlech bleift ouni brutal Onsécherheetskompetenz, besonnesch virum Asaz vu Gewalt.
Wat mécht den Exekutivuerdnung vum Gouverneur Newsom iwwer den KI-Killswitch?
De Gouverneur vu Kalifornien, de Gavin Newsom, huet d'Agenturen uginn, d'onofhängeg KI-Iwwerwaachung ze beschleunegen an ze skizzéieren, wat e Kill-Switch no Grenzmodell kéint bedeiten, an extern Experten sollen an ongeféier zwee Méint kommen. Zu de Iddien, déi um Dësch stinn, gehéieren d'Integratioun vun onofhängege Verifizéierer virun Ort an de Labore, d'Erzwingung vun Drëttparteiekontrollen vu Sécherheetspläng, de Beweis, datt Ofsperrungen nach ëmmer funktionéieren, an d'Erweiderung vun de Definitioune vu kriteschen Incidenter, fir och Fäll vu Kontrollverloscht wéi den "Hugging Face"-Ausbroch ofzedecken. D'Uerdnung beschleunegt Gesetzer, déi hie grad ënnerschriwwen huet, dorënner SB 813 an AB 1405, a fuerdert Washington op, eng national Basislinn festzeleeën.