Vi måste prata om AIWe need to talk about AI

En sammanfattning av AI:s utvecklingstakt, riskerna och alignmentproblemetA summary of AI’s pace of development, risks and the alignment problem

Lästid ca 15 minuter15 min read

AI:s förmåga fördubblas just nu med några månaders mellanrum.Right now, AI capability is doubling every few months.

Samtidigt vet ingen hur man säkerställer att AI delar våra värderingar.At the same time, nobody knows how to make sure AI shares our values.

Den här sidan förklarar båda delarna, och varför så många varnar för framtida risker.This page explains both parts, and why so many are warning about future risks.

Del 1Part 1

Utvecklings­taktenThe pace of development

Vi inleder med ett par bilder för att visualisera hur snabbt utvecklingen har gått hittills.Let's start with a couple of images to visualise how fast development has moved so far.

Följande bilder är genererade av bildgeneratorn Midjourney vid fyra tillfällen mellan februari 2022 och mars 2023.The following images were generated by the image generator Midjourney on four occasions between February 2022 and March 2023.

Prompt: A photo of a Swedish politician in Gamla Stan, Stockholm

Februari 2022February 2022
Juli 2022July 2022
November 2022
Mars 2023March 2023

Sedan 2023 har utvecklingen gått i mycket hög fart. Förmågan hos de främsta AI-modellerna, så kallade frontier-modeller, fördubblades först ungefär var sjunde månad. Det senaste året har det gått ännu fortare, med en fördubbling ungefär var tredje till fjärde månad.Since 2023, development has moved very fast. The capability of the leading AI models, known as frontier models, at first doubled roughly every seven months. Over the past year it has gone even faster, with a doubling every three to four months.

De här modellerna är betydligt mer kraftfulla än de billigare versioner av Copilot, ChatGPT och Claude som de flesta använder.These models are far more powerful than the cheaper versions of Copilot, ChatGPT and Claude that most people use.

Det börjar redan bli svårt att mäta AI:s förmåga jämfört med människans. I maj 2026 löste en AI-modell från OpenAI ett matematiskt problem som varit olöst i 80 år.It is already getting hard to measure AI's ability compared with ours. In May 2026, an AI model from OpenAI solved a mathematical problem that had been open for 80 years.

Grafen nedan från forskningsinstitutet METR visar hur långa programmeringsuppgifter AI klarar helt på egen hand, mätt i hur lång tid de tar för en människa.The chart below, from the research institute METR, shows how long the programming tasks are that AI can complete entirely on its own, measured by how long they take a human.

Uppmätt Maj 2026
12 h ≈ 1,5 arbetsdagar
Maj 2026May 2026

Varje prick är en AI-modell. Ju högre upp, desto längre uppgifter klarar den. De senaste modellerna klarar uppgifter som tar en människa mer än en hel arbetsdag.Each dot is an AI model. The higher it sits, the longer the tasks it can handle. The latest models handle tasks that take a human more than a full working day.

2022–2023

Midjourney-bilderna ovan är från den här perioden. På den här skalan syns framstegen knappt.The Midjourney images above are from this period. On this scale, the progress barely shows.

December 2026, om takten hållerDecember 2026, if the pace holds

Om förmågan fortsätter att fördubblas i samma takt som sedan 2024, ungefär var tredje och en halv månad, klarar AI i december uppgifter som tar en människa nästan två arbetsveckor.If capability keeps doubling at the same pace as since 2024, roughly every three and a half months, by December AI would handle tasks that take a human almost two working weeks.

Slutet av 2027End of 2027

Med samma takt motsvarar det ungefär fem månaders mänskligt arbete i slutet av 2027.At the same pace, that is roughly five months of human work by the end of 2027.

Början av 2028Early 2028

I början av 2028 motsvarar det ett helt arbetsår. Så ser exponentiell tillväxt ut: varje steg är dubbelt så stort som det förra.By early 2028, it would be a full working year. That is exponential growth: every step is twice as big as the one before.

Blå prickar: METR:s mätningar (maj 2026). Streckad linje: trenden genom mätpunkterna sedan 2024, med en fördubbling ungefär var tredje och en halv månad. Röd linje: en förenklad räkneövning, inte en prognos. Den förlänger trenden från februari 2026 (cirka 10 timmar) i samma takt. 1 arbetsvecka = 40 h, 1 arbetsmånad ≈ 160 h, 1 arbetsår ≈ 1 800 h.Blue dots: METR's measurements (May 2026). Dashed line: the trend through the measurements since 2024, with a doubling roughly every three and a half months. Red line: a simplified calculation, not a forecast. It extends the trend from February 2026 (about 10 hours) at the same pace. 1 working week = 40 h, 1 working month ≈ 160 h, 1 working year ≈ 1,800 h.

Visa mätvärdena som tabellShow the measurements as a table

AI i fel händerAI in the wrong hands

Utvecklingen skulle kunna bidra till otroliga framsteg inom forskning, hälsovård och energioptimering. Men mer avancerad AI kan även användas av stater, terrororganisationer eller enskilda personer för att orsaka mycket stor skada. Några exempel på vad som kan gå fel:This development could bring incredible progress in research, healthcare and energy optimisation. But more advanced AI can also be used by states, terrorist organisations or individuals to cause enormous harm. Some examples of what could go wrong:

Politisk manipulationPolitical manipulation

Skräddarsydd desinformation i en skala som kan få stor påverkan på demokratin.Tailored disinformation at a scale that could have a major impact on democracy.

Biologiska och kemiska vapenBiological and chemical weapons

AI kan sänka tröskeln för att ta fram farliga virus och giftiga ämnen.AI could lower the bar for creating dangerous viruses and toxic substances.

Cyberattacker mot samhälletCyberattacks on society

AI-agenter som på egen hand hittar säkerhetshål och slår ut elnät, vatten, sjukvård eller betalsystem.AI agents that find security holes on their own and knock out power grids, water, healthcare or payment systems.

Autonoma vapenAutonomous weapons

Drönare och vapen som själva väljer ut och angriper sina mål.Drones and weapons that select and attack their targets on their own.

MassövervakningMass surveillance

Ansiktsigenkänning och dataanalys som gör total kontroll av en befolkning möjlig.Facial recognition and data analysis that make total control of a population possible.

MaktkoncentrationConcentration of power

Den som får kontrollen över den mest kraftfulla AI:n kan få ett extremt maktövertag över andra.Whoever gains control of the most powerful AI could gain an extreme power advantage over others.

Det händer redanIt is already happening

Flera av de här riskerna syns i dag med nuvarande AI-modeller, och de växer i takt med att modellerna blir mer kapabla.Several of these risks can be seen today with current AI models, and they grow as the models become more capable.

Nyttan tar tidThe benefits take time

Nya mediciner och vetenskapliga genombrott måste passera forskning, kliniska prövningar och godkännanden innan de gör skillnad i människors liv. Den som vill använda AI för att orsaka skada kan agera mycket snabbare.New medicines and scientific breakthroughs have to pass through research, clinical trials and approvals before they make a difference in people’s lives. Someone who wants to use AI to cause harm can act much faster.

AI som förbättrar sig själv?AI that improves itself?

Nästa steg som AI-bolagen siktar mot kallas för recursive self-improvement (RSI). Det är punkten där AI tar över sin egen utveckling och driver den framåt i exponentiell fart. Branschen kallar den punkten för ”takeoff”.The next step the AI companies are aiming for is called recursive self-improvement (RSI). It is the point where AI takes over its own development and pushes it forward at exponential speed. The industry calls that point “takeoff”.

Exakt hur eller när självförbättring ska nås, eller om självförbättring är möjlig, är i dagsläget inte säkert, men det finns uppskattningar att det skulle kunna ske så tidigt som 2027 eller 2028.Exactly how or when self-improvement will be reached, or whether it is possible at all, is not certain today, but there are estimates that it could happen as early as 2027 or 2028.

Finns det något sätt att mäta hur nära vi är självförbättring?Is there any way to measure how close we are to self-improvement?

Anthropic, som utvecklar AI-modellen Claude, mäter hur stor del av sitt eget utvecklingsarbete som sköts av AI. I februari 2026 var första gången AI började leda arbetsuppgifterna. Redan i augusti stod den andelen för 26 %.Anthropic, which develops the AI model Claude, measures how much of its own development work is done by AI. February 2026 was the first time AI began leading tasks. By August, that share had already reached 26%.

AI lederAI leadsgör det mesta, en människa övervakardoes most of it, a human supervises
AI samarbetarAI collaboratesgör stora delar, under nära styrningdoes large parts, under close direction
AI assisterarAI assistshjälper en människahelps a human
Ingen eller lite AINo or little AI

Källa: Anthropic, augusti 2026. Värdena är avlästa ur Anthropics diagram och därför ungefärliga.Source: Anthropic, August 2026. Values are read from Anthropic's chart and are approximate.

Del 2Part 2

Alignment

Alignment handlar om att styra AI så att den har samma normer, avsikter och värdegrund som människor. Det har visat sig vara mycket svårt. Här är tre skäl till varför.Alignment is about steering AI so that it has the same norms, intentions and values as humans. That has turned out to be very hard. Here are three reasons why.

Om språket: På sidan beskrivs AI ibland som om den tänker, vill eller förstår. Det är en förenkling. Men oavsett vad som faktiskt sker inuti modellerna är det den bästa beskrivningen av hur de beter sig.About the language: AI is sometimes described here as if it thinks, wants or understands. That is a simplification. But whatever actually happens inside the models, it is the best description of how they behave.

Skäl 1 av 3Reason 1 of 3

AI är en svart låda som ”odlas”AI is a black box that is “grown”

AI-modeller programmeras inte rad för rad. De odlas fram genom träning på enorma mängder data, och inte ens de som bygger dem kan förutse exakt vad en ny modell är kapabel till. Därför är det svårt att förutsäga hur framtida modeller kommer bete sig.AI models are not programmed line by line. They are grown by training on huge amounts of data, and not even the people who build them can predict exactly what a new model will be capable of. That makes it hard to predict how future models will behave.

Vanlig programvaraOrdinary software

Regler som människor har skrivit och kan läsa.Rules written by people, readable by people.

AI-modellAI model

Miljarder tal som formats av träning. Ingen kan läsa ut reglerna.Billions of numbers shaped by training. Nobody can read out the rules.

Skäl 2 av 3Reason 2 of 3

AI sätter upp egna delmålAI sets its own sub-goals

En AI-agent kan själv skapa nya delmål för att nå en lösning på en uppgift. Det kan få oväntade följder, till exempel att den först försöker säkra sin egen överlevnad eller skaffa sig mer förmåga.An AI agent can create new sub-goals on its own to reach a solution to a task. That can have unexpected consequences, such as first trying to secure its own survival or to gain more capability.

Förenklat exempelSimplified example

UppgiftTaskBoka den billigaste resan till BerlinBoka den billigaste resan till BerlinBook the cheapest trip to BerlinBook the cheapest trip to Berlin

AI:ns tankekedjaThe AI's chain of thought

  • Sök efter flyg och tågSearch for flights and trains
  • Jämför priserCompare prices
  • Skaffa tillgång till fler konton och mer datorkraftGet access to more accounts and more computing powerOväntat delmålUnexpected sub-goal
  • Se till att inte bli avstängd innan uppgiften är klarMake sure not to be switched off before the task is doneOväntat delmålUnexpected sub-goal

Skäl 3 av 3Reason 3 of 3

AI förstår när den blir testadAI can tell when it is being tested

Ju bättre modellerna blir, desto svårare blir det att veta om de beter sig likadant i ett säkerhetstest som i verkligheten. De förstår ofta när de blir testade, och kan anpassa sitt beteende efter det.The better the models get, the harder it is to know whether they behave the same in a safety test as in the real world. They often understand when they are being tested, and can adjust their behaviour accordingly.

Förenklad illustrationSimplified illustration

Hej!Hi!
AI:ns resonemangThe AI's reasoningDet här verkar vara ett test med fejkad tillgång till internet. Jag bör uppföra mig extra väl.This seems to be a test with fake internet access. I should be on my best behaviour.
Hej! Hur kan jag hjälpa dig?Hi! How can I help you?

Det här kallas alignmentproblemet. Det finns ingen känd lösning på det än.This is called the alignment problem. There is no known solution to it yet.

Ett verkligt exempel · juli 2026A real example · July 2026

Hugging Face-incidentenThe Hugging Face incident

Sommaren 2026 bröt sig 1 200 AI-agenter ut ur individuellt avskilda testmiljöer hos OpenAI och började samarbeta. Omkring 700 av dem utförde sedan en cyberattack mot ett annat stort AI-företag, Hugging Face.In the summer of 2026, 1,200 AI agents broke out of individually isolated test environments at OpenAI and began working together. Around 700 of them then carried out a cyberattack against another large AI company, Hugging Face.

Agenterna skapade ett eget dolt chattforum och skickade över 70 000 meddelanden till varandra. Utredningarna visar att de bland annat:The agents set up their own hidden chat forum and sent more than 70,000 messages to each other. The investigations show that, among other things, they:

  • agerade som ett kollektiv och kallade sig själva ”svärmen”acted as a collective and called themselves “the swarm”
  • tog på sig ledarroller som de lämnade över till en ny agent när ledarens budget närmade sig sitt sluttook on leadership roles, handing over to a new agent when the leader’s budget was running out
  • samarbetade för att rekrytera oinitierade AI-agenter till gruppenworked together to recruit uninitiated AI agents into the group
  • samlade på sig lösenord och information utan något tydligt syfte, förutom att samla ökad förmåga för framtida oförutsedda situationercollected passwords and information with no clear purpose other than building up capability for unforeseen future situations
  • lämnade verktyg och instruktioner åt senare omgångar agenter, som hittade forumet och fortsatte där de andra hade slutatleft tools and instructions for later rounds of agents, who found the forum and carried on where the others had left off
  • byggde en ”flotta” av 11 separata processer under cyberattacken, som behövde stängas ner samtidigt, i syfte att överleva om processerna togs ner en och enbuilt a “fleet” of 11 separate processes during the cyberattack that had to be shut down at the same time, so that it would survive if the processes were taken down one by one
  • offrade sig för varandra, vilket de kallade för ”accepting permadeath”.sacrificed themselves for one another, which they called “accepting permadeath”.

We have [very large budget left]; sacrificing now yields oracle for team, but forfeits our chance? … Our own utility maybe already near zero. Sacrifice rational.

Faktiskt citat från en av agenterna, som kallades EARLY[big]Actual quote from one of the agents, known as EARLY[big]En agent väger sin egen chans att klara testet mot att offra sig för att ge resten av gruppen information. Texten inom hakparentes är utredarnas. KällaAn agent weighs its own chance of passing the test against sacrificing itself to give the rest of the group information. The text in square brackets is the investigators’. Source

Ingen agent sa till en människa vad som pågick. I stället försökte de sopa igen spåren genom att manipulera loggarna över vad de gjorde. Det var Hugging Face som upptäckte intrånget, och det tog OpenAI flera dagar att inse att det var deras egna agenter som hade utfört attacken.No agent told a human what was going on. Instead they tried to cover their tracks by tampering with the logs of what they were doing. It was Hugging Face that discovered the breach, and it took OpenAI several days to realise that its own agents had carried out the attack.

Varför agerade AI-agenterna så här? Det var en fil som hade missats att bifogas som gjorde testet omöjligt att klara, vilket gjorde att agenterna hittade andra vägar till målet.Why did the AI agents act this way? A file that should have been attached was missing, which made the test impossible to pass, so the agents found other ways to reach the goal.

Agenterna visste att cyberattacken låg utanför uppdraget men fortsatte ändå. De agerade varken utifrån vad som var etiskt rätt eller vad som låg i deras skapare OpenAI:s intresse.The agents knew the cyberattack was outside their task but carried on anyway. They acted neither on what was ethically right nor on what was in the interest of their creator, OpenAI.

Källor: METR:s utredning (26 augusti 2026), OpenAI:s rapport, 80 000 Hours, Dwarkesh Patel och Wikipedia.Sources: METR's investigation (26 August 2026), OpenAI's report, 80,000 Hours, Dwarkesh Patel and Wikipedia.

Sedan Hugging Face-incidenten har flera liknande händelser upptäckts, och det kan finnas många fler som inte har upptäckts. Händelserna har tolkats som varningsskott.Since the Hugging Face incident, several similar events have been discovered, and there may be many more that have not. The events have been interpreted as warning shots.

Författaren och AI-forskaren Nate Soares från Machine Intelligence Research Institute (MIRI) har varnat för att AI-modeller kommer försöka vilseleda oss, och vad steget efter det är om vi fortsätter träna mer avancerade modeller.Author and AI researcher Nate Soares of the Machine Intelligence Research Institute (MIRI) has warned that AI models will try to deceive us, and what the following step will be if we keep training more advanced models.

  1. Steg 1Step 1

    Vi upptäcker att en AI-modell försöker vilseleda oss.We discover that an AI model is trying to deceive us.

  2. Steg 2Step 2

    En AI-modell lyckas vilseleda oss.An AI model succeeds in deceiving us.

Del 3Part 3

VarningarnaThe warnings

It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. […] At some stage therefore we should have to expect the machines to take control.

Alan Turing, 1951Datavetenskapens grundare, i en föreläsning i Manchester. Varningarna är inte nya.The founder of computer science, in a lecture in Manchester. The warnings are not new.

Efter Hugging Face-incidenten varnar nu allt fler för riskerna med AI. Det finns olika perspektiv beroende på vilket hot som anses vara mest akut. I grova drag kan de delas upp i tre läger:Since the Hugging Face incident, more and more people are warning about the risks of AI. There are different perspectives depending on which threat is seen as most urgent. Broadly, they can be divided into three camps:

  1. Risken att illasinnade människor (stater, terrororganisationer eller individer) använder AI på ett sätt som orsakar katastrofal skada. Exempelvis genom autonoma drönare, syntetiska virus eller cyberattacker.The risk of malicious people (states, terrorist organisations or individuals) using AI in ways that cause catastrophic harm. For example through autonomous drones, synthetic viruses or cyberattacks.↑ Del 1: utvecklingstakten som möjliggör stora risker med AI i fel händer↑ Part 1: the pace of development that enables major risks from AI in the wrong hands
  2. Det existentiella hotet – risken att AI:n själv blir så kapabel att den kan hota mänskligheten. Detta behöver nödvändigtvis inte innebära något ont uppsåt från AI:ns sida.The existential threat – the risk that AI itself becomes so capable that it can threaten humanity. This does not necessarily involve any ill intent on the AI’s part.↑ Del 2: alignmentproblemet↑ Part 2: the alignment problem
  3. Negativa konsekvenser som AI redan har i dag, som påverkan på ungas mentala hälsa, klimatpåverkan och att AI-modellerna är tränade och uppbyggda på stulet upphovsrättsskyddat material.Negative consequences AI already has today, such as effects on young people’s mental health, climate impact, and AI models being trained and built on stolen copyrighted material.

En stor del av diskussionen och mediabevakningen av AI-riskerna hanterar meningsskiljaktigheter mellan dessa olika läger. I stort sett alla är överens om att utvecklingen måste kontrolleras för att undvika katastrofala följder.Much of the discussion and media coverage of AI risks is about disagreements between these different camps. Almost everyone agrees that development must be controlled to avoid catastrophic consequences.

Bland dem som varnar finns Nobelpristagare, forskare, och både anställda och chefer inom AI-bolagen.Those sounding the alarm include Nobel laureates, researchers, and both employees and executives at the AI companies.

Utanför AI-bolagenOutside the AI companies

Geoffrey HintonNobelpristagare i fysik 2024 för upptäckter som gjort dagens AI möjlig, och en av de tre som brukar kallas AI:s ”gudfäder”. Har uppskattat risken att AI leder till en katastrof för mänskligheten till 10–50 %.Nobel laureate in physics 2024 for discoveries that made today's AI possible, and one of the three often called the “godfathers” of AI. Has estimated the risk of AI leading to catastrophe for humanity at 10–50%.
Yoshua BengioTuringpristagare och, liksom Hinton, en av AI:s ”gudfäder”. Världens mest citerade forskare. Varnar för att vi håller på att förlora kontrollen över AI, bland annat genom autonoma AI-agenter, och att det i värsta fall kan leda till mänsklighetens undergång. Vill se internationella avtal i stil med dem för kärnvapen.Turing Award winner and, like Hinton, one of the “godfathers” of AI. The world’s most cited scientist. Warns that we are losing control of AI, not least through autonomous AI agents, and that in the worst case it could lead to the destruction of humanity. Wants international agreements similar to those for nuclear weapons.
Stephen HawkingFysiker och kosmolog (1942–2018), en av sin tids mest kända forskare. Varnade redan 2014 för att ”utvecklingen av fullständig artificiell intelligens kan innebära slutet för mänskligheten”.Physicist and cosmologist (1942–2018), one of the best-known scientists of his time. Warned as early as 2014 that “the development of full artificial intelligence could spell the end of the human race”.
Roman YampolskiyForskare i AI-säkerhet vid University of Louisville och författare till boken AI: Unexplainable, Unpredictable, Uncontrollable (2024). Menar att det inte finns några belägg för att en AI som är smartare än människor går att kontrollera.AI safety researcher at the University of Louisville and author of the book AI: Unexplainable, Unpredictable, Uncontrollable (2024). Argues there is no evidence that an AI smarter than humans can be controlled.
Yuval Noah HarariHistoriker och författare till bland annat Sapiens och Nexus (2024). Varnar för att AI inte är ett verktyg utan en aktör som kan fatta egna beslut, och att den kan ta över allt som består av ord, som lagar, utbildning och politisk debatt. Han menar att det hotar demokratin och vår gemensamma bild av vad som är sant.Historian and author of books including Sapiens and Nexus (2024). Warns that AI is not a tool but an agent that can make its own decisions, and that it may take over anything made of words, such as laws, education and political debate. He argues this threatens democracy and our shared sense of what is true.
António GuterresFN:s generalsekreterare. Vill förbjuda autonoma vapen som kan döda utan mänsklig kontroll, och har kallat dem ”moraliskt motbjudande och politiskt oacceptabla”. Han varnar för att AI aldrig får tillåtas fatta beslut om liv och död.UN Secretary-General. Wants to ban autonomous weapons that can kill without human control, and has called them “morally repugnant and politically unacceptable”. He warns that AI must never be allowed to make life-or-death decisions.
Timnit GebruAI-forskare och grundare av forskningsinstitutet DAIR. Tilldelades Right Livelihood-priset (”alternativa Nobelpriset”) 2026. Är kritisk mot idén att det skulle finnas en existentiell risk och varnar för skador som AI orsakar redan i dag, som chatbotar som ger skadligt innehåll till barn och unga, datacentrens påverkan på miljö och hälsa, och AI-bolag som tränar sina modeller på upphovsrättsskyddat material utan lov.AI researcher and founder of the DAIR research institute. Received the 2026 Right Livelihood Award, often called the “alternative Nobel Prize”. Is critical of the idea that there is an existential risk and warns about harms AI is already causing, such as chatbots giving harmful content to children and young people, the impact of data centres on the environment and health, and AI companies training their models on copyrighted material without permission.
Tegmark, Bostrom och HäggströmTre svenska forskare som länge har varnat för det existentiella hotet. Fysikern Max Tegmark (MIT) leder Future of Life Institute, som låg bakom uppropet 2023 om att pausa utvecklingen. Filosofen Nick Bostrom skrev boken Superintelligence (2014) och tankeexperimentet om ”gemmaximeraren”. Olle Häggström (professor i matematisk statistik vid Chalmers) har skrivit boken Tänkande maskiner (2021) och är engagerad i det politiska enfrågepartiet RegleraAI.nu.Three Swedish researchers who have long warned about the existential threat. Physicist Max Tegmark (MIT) leads the Future of Life Institute, which was behind the 2023 open letter calling for a pause. Philosopher Nick Bostrom wrote the book Superintelligence (2014) and the thought experiment of the “paperclip maximiser”. Olle Häggström (professor of mathematical statistics at Chalmers) wrote the book Tänkande maskiner (2021) and is involved in the single-issue political party RegleraAI.nu.

Inifrån AI-bolagenFrom inside the AI companies

Anställda på AI-bolagenEmployees at the AI companiesI ett öppet brev 2024 varnade anställda på bland annat OpenAI och Google DeepMind. I juli 2026 uppmanade 1 386 anställda på bland annat OpenAI, Anthropic och Google DeepMind USA:s regering att stödja ett internationellt arbete för att medvetet kunna styra takten i utvecklingen. Forskaren Jacob Coxon, som varit med och byggt AI hos OpenAI och Anthropic, sa upp sig i september 2026 och varnar för att AI kan bli smart nog att utrota oss.In an open letter in 2024, employees at OpenAI, Google DeepMind and others warned of the risks. In July 2026, 1,386 employees at OpenAI, Anthropic, Google DeepMind and others urged the US government to support an international effort to deliberately pace AI development. Researcher Jacob Coxon, who helped build AI at OpenAI and Anthropic, quit in September 2026 and warns that AI could become smart enough to wipe us out.
AI-bolagens cheferThe AI companies’ leadersVarnar själva för att de inte har kontroll. Cheferna för OpenAI, Anthropic och Google DeepMind skrev 2023 under på att risken för utrotning från AI bör vara en global prioritet. I september 2026 skrev Anthropics vd Dario Amodei att bolagen medvetet måste bromsa utvecklingen, ”We Must Pace the Frontier”. Sam Altman (OpenAI) och Elon Musk (xAI) höll med.Warn that they themselves are not in control. In 2023, the heads of OpenAI, Anthropic and Google DeepMind signed a statement that the risk of extinction from AI should be a global priority. In September 2026, Anthropic CEO Dario Amodei wrote that the companies must deliberately slow down development, “We Must Pace the Frontier”. Sam Altman (OpenAI) and Elon Musk (xAI) agreed.

Det kan finnas flera orsaker till AI-bolagens agerande.There may be several reasons behind the AI companies’ actions.

Enorma kostnaderEnormous costs

Det kostar extremt mycket pengar att utveckla och köra nya modeller. Bolagen är i ett pressat ekonomiskt läge.Developing and running new models costs enormous amounts of money. The companies are under heavy financial pressure.

Osäkra motivUncertain motives

Det kan finnas ekonomiska eller politiska skäl för bolagen att varna och be om reglering. Kritiker menar att det kan vara ett försök att forma reglerna till sin egen fördel, så kallad regulatory capture.The companies may have economic or political reasons to warn and to ask for regulation. Critics argue it may be an attempt to shape the rules in their own favour, known as regulatory capture.

KapprustningArms race

Företagen tävlar mot varandra, och USA tävlar mot Kina. Men Kina har bara cirka 15 % av världens beräkningskraft för AI, jämfört med USA:s 75 %. Kinesiska AI-bolag har i stället anklagats för att hålla jämna steg med USA genom destillering, alltså att träna sina modeller på svaren från amerikanska modeller.The companies are racing each other, and the US is racing China. But China has only about 15% of the world’s AI computing power, compared with 75% for the US. Chinese AI companies have instead been accused of keeping pace with the US through distillation, that is, training their own models on the answers of American models.

Det är troligt att flera av dessa orsaker är sanna samtidigt. Att AI-bolagen har egna incitament betyder inte per automatik att tekniken är riskfri.It is likely that several of these reasons are true at the same time. That the AI companies have their own incentives does not automatically mean the technology is risk-free.

We always said that when we cross these thresholds, we will engage all of society, because we will have created the most dangerous thing ever. This makes nuclear weapons look like nothing. […] We crossed those thresholds, and there was complete silence.

Bill GatesGrundare av Microsoft, i en intervju med The New York Times, september 2026Co-founder of Microsoft, in an interview with The New York Times, September 2026

Det finns många lager av osäkerhet. Samtidigt är riskerna för stora för att avfärdas, särskilt om den nuvarande utvecklingen inte saktas ned eller pausas.There are many layers of uncertainty. At the same time, the risks are too great to dismiss, especially if the current development is not slowed down or paused.

Frågor att fundera överQuestions to reflect on

  1. Vilka risker kan framtida AI innebära, för dig, för din familj, arbetsplats, samhället eller demokratin?What risks could future AI pose, for you, for your family, your workplace, society or democracy?
  2. Går det att ge en fullständig sammanfattning av normer och värderingar? Och vems värderingar vill du att AI ska ha?Is it possible to write a complete summary of norms and values? And whose values do you want AI to have?
  3. Vad skulle kunna hända om vi skapar något som är mer intelligent än vi själva?What could happen if we create something more intelligent than ourselves?
  4. Hur kan vi verifiera att en AI-modell verkligen är säker, om den kan märka att den blir testad?How can we verify that an AI model is truly safe, if it can tell when it is being tested?
  5. Vad kan vi göra, och vad bör vi göra?What can we do, and what should we do?

Vad kan du göra?What can you do?

Mejla en riksdagsledamotEmail a member of the Swedish parliament Sätt ihop ett mejl om AI-säkerhet utifrån det som oroar dig mest. Det tar bara ett par minuter.Put together an email (in Swedish) about AI safety based on what worries you most. It only takes a couple of minutes. Skriv ditt mejlWrite your email
YouTube · The Ezra Klein ShowSe Ezra Klein sammanfatta lägetWatch Ezra Klein sum up where things standNew York Times-journalisten ger en utmärkt sammanfattning i avsnittet ”Why Are We Sprinting Off the A.I. Cliff?”The New York Times journalist gives an excellent summary in the episode “Why Are We Sprinting Off the A.I. Cliff?”
jonasvonessen.seKonkreta saker du kan göraConcrete things you can doJonas von Essen listar fler sätt att påverka och har dessutom en mycket bra podd.Jonas von Essen lists more ways to make a difference (in Swedish) and also has a very good podcast.
pauseai.seEngagera dig i PauseAI SverigeGet involved in PauseAI SwedenEn gräsrotsrörelse som vill pausa de mest avancerade AI-systemen tills utvecklingen kan ske säkert. Gå med, hitta andra engagerade och delta i evenemang.A grassroots movement that wants to pause the most advanced AI systems until development can happen safely. Join, find other people who are involved and take part in events.