Microns DDR4-productie is getroffen door stroomstoring

Een faciliteit van Micron in Taiwan voor de productie van dram is een uur buiten werking geweest door een stroomstoring. Het duurt volgens de fabrikant enkele dagen voor de productie weer op peil is. De impact op dram-prijzen is nog onbekend.

Micron heeft de stroomstoring tegen Taiwanese media bevestigd en daarbij gemeld dat de DRAM-fabriek in Linkou, bij Taoyuan in Taiwan, de productie binnen enkele dagen weer op het oude niveau heeft. De storing duurde een uur, waarbij de productie stil kwam te liggen. Micron is aan het inventariseren wat de impact is en wat de oorzaak van de storing was.

In de fabriek in Linkou maakt Micron DDR4 voor pc's en servers en Lpddr4. De fabriek is met maandelijks 125.000 wafers verantwoordelijk voor 8,8 procent van de wereldwijde DRAM-productie, schrijft Technews.tw op basis van informatie van onderzoeksbureau TrendForce. Micron is op zijn beurt met een marktaandeel van 25 procent de op twee na grootste geheugenfabrikant ter wereld, afgaande op cijfers van datzelfde TrendForce. Alleen Samsung en SK Hynix hebben een groter marktaandeel.

Wat de eventuele impact op de prijzen voor DRAM zijn, is nog niet bekend. Relatief korte productieproblemen kunnen de prijzen op de volatiele spotmarkt voor DRAM flink opdrijven als deze bijvoorbeeld gepaard gaan met een verwachte toename van de vraag. De spotprijzen voor DRAM stijgen wel, is te zien bij TrendForce, maar de invloed van Microns productieproblemen daarbij is onduidelijk.

Micron Taoyuan, Taiwan. Bron: Micron

Reacties (66)

Dat een stroomstoring van een uur, alles zo ontregelt dat het dagen duurt voordat dit weer op peil is. Hoe kan dat?

Productie uitval:
litho fase: wafers in bewerking, mogelijk uitval, ervoor, oke
Ovens: afhankelijk van proces kunnen batches gerepareerd worden, sommige processen is gewoon uitval.
Etsbewerkingen: Stroomstoring = ontruiming, dus geen mensen, dus hoppers e.d. doen niks, wafers te lang in zuren e.d. , dus uitval.
Metall bewerkingen: vergelijkbaar met ovens.
Implantatie : wafers in bewerking uitval, ervoor/erna niet.

Machine schade:
Bijvoorbeeld ovens: die koelen af, en indien <600 graden, betekend vaak een hercalibratie. In de tijd dat ik met SVG/Thermco 10K ovens heb gewerkt was het probleem dat er ook een belading met z.g. dummie wafers in moest voor calibratie. 300 of 150 stuks. Als je 70 ovens hebt dan voel je al dat je nooit genoeg dummies hebt (ook voor de verschillende processen, dit om cross-contaminiatie te voorkomen) voor al die ovens. En de calibratie nam gemiddeld 20 uur in beslag.

Ook z.g. coatingsmachines waar ik mee werkte (GCA) kregen dan last dat het vacuum weg viel. Tja als dan net zo'n schijfje staat te draaien met 5000-6000 rpm, tja dat geeft rotzooi.

En zo is er veel meer te bedenken. Al zal het voor veel machines wel veel beter zijn tegenwoordig omdat er veel meer single wafer bewerkingen zijn dan "vroeger". Dus wat minder uitval.

1995-2010 was een mooie tijd bij NXP Nijmegen (ICN5,AN) voor mij.

Ik heb het 1x mee gemaakt een fikse stroomstoring. Niet leuk.

Thanks voor je uitgebreide toelichting, leuk om te lezen! Weer een stukje wijzer geworden

Als het allemaal zo erg is, verwacht je dat ze een driedubbele buffer van noodaggregaten hebben staan? Maar blijkbaar waren al hun noodvoorzieningen niet genoeg?

Je hebt waarschijnlijk geen idee van het vermogen wat dergelijke apparaten trekken. Ik heb dat verderop ook aangegeven. Dat is bijna niet op te vangen. Iets met kosten/baten. Er is waarschijnlijk geen een ic fabriek in de wereld die een dergelijk buffer zal hebben.

Doe je research, maar bliif vriendelijk!

Nou, exact.

Kleine rekensom: 70x ovens (thermco 10K systemen destijds. Thermco is later overgegaan naar SVG,
elke oven 100V * 150 ampere (gemiddeld) = 15KW , per oven dus x70.
Ja ovens lopen op stroom. De proceskamer is een buis van of quartsglas (processen tot 800 graden) daarboven buizen van silliciumcarbide.

Epitaxatie machines: : daar zaten een soort lampen in van 2200 watt. Deze zaten op een montage plaat, een stuk of 6 lampen per plaat, 5 platen om de proceskamer heen. 2200x5x6= 66KW per machine. En er stonden 6 van deze machines.

Nou ja, en dan de rest van de fab nog. Ionenimplantatie, GEKA met belichtingsmachines, ASML, Canon e.d., coaten/bedekken, reinigen v.d. wafers (fsi machines) en zo verder. Ohja en natuurlijk werd 3/4 van de kelder in beslag genomen door alle apparatuur voor de filtering van de lucht, want dit alles bevindt zich in een cleanroom.

Helaas kan ik hier geen foto's bij plaatsen, anders had ik nog wel een paar interessante foto's kunnen laten zien.

Interessant, dat is inderdaad wel een heel erg groot vermogen. Kan me voorstellen dat noodstroom dan te duur wordt.

De productiecyclus van dram-chips neemt ongeveer 2,5 maanden in beslag, waardoor er altijd wafers in verschillende productiestadia zijn en de kans groot is dat er tijdens een storing een deel beschadigt. Bovendien is het op- of herstarten van het productieproces een tijdrovende klus.

Ik had geen idee van dat zo'n cyclus 2,5 maand in beslag neemt!
Ik snap dat alle halfproducten in de stadia, stuk kunnen zijn.
Wellicht dat machines vastlopen en opnieuw moeten worden ingesteld, gekalibreerd.

Ik weet het ook niet maar zou zoiets kunnen zijn.

- Producten half gereed zitten nog in de machines.Kan zo maar niet gestart worden want geen idee waar hij is gebleven. Daarom moeten producten er uit gehaald worden. Maar dat gaat niet want machine is te heet/koud. Daarna kun je zomaar niet overal bij dus moet er gedemonteerd worden. Maar die onderdelen zitten weer aan hydrauliek, dus daar moet de druk van af. En bij het starten moet er waarschijnlijk weer een en ander gecalibreerd worden. En de eerste batches gecontroleerd. En er zijn natuurlijk altijd maar 2 monteurs die dat allemaal kunnen, waarvan er 1 thuis zit met Corona

Of zoiets

Doet mij denken aan de paneermeelfabriek waar ik vroeger werkte. Je pakte brood uitm dat werd verbrand op 70 graden en dan ging het een trommel in die ronddraaide om af te koelen. Alleen de oven werkte op gas. De trommel met kettingen en elektrischeteit. Dan kon het wel eens gebeuren dat de ketting brak of de stroom uitviel. Dan brak er dus brand uit in de trommel en moest die geleegd worden. En zette je snel het gas af. Grappig detail overigens. De meest effectieve manier om een paneermeel brand te blussen was: een paar big bags paneermeel er op gooien zodat het vuur geen zuurstof meer kreeg en verstikte. Vervolgens moest je inderdaad een groot deel van de productie lijn idd schoonmaken en controleren. Dat koste wel ongeveer een dag.

controle en heropstart van systemen duren vele malen langer dan het in bedrijf blijven. Het simpelste voorbeeld is misschien nog wel het snelheid maken op een fiets. Eens je aan het rijden bent ga je snel, maar een fractie van een seconde stilstaan zorgt ervoor dat je weer helemaal vanaf 0 je snelheid moet opbouwen. Er zijn zelfs situaties waarin je (bijna) niet meer kan herstarten, een beetje als een vliegtuig dat ergens een noodlanding heeft gemaakt.

Mooie analogie.
Omdat het productieproces vele stappen doorloopt, snap ik dat het tijd kost, dagen kennelijk!

Een fabriek is helaas geen aan/uit machine.

Stel dat dit in een lakkerij van een autofabriek was gebeurd, kan men na een uurtje ook niet gewoon verdergaan op de reeds half gedroogde lak, om maar een stom voorbeeld te noemen

Of bij fabrieken met hoogovens (glas, staal, ...) is het meestal zo dat de hele oven onbruikbaar is wanneer deze zou stilvallen en afkoelen, met een gigantische kost en productieverlies tot gevolg.

Behalve wat @marcelvdk al noemt, kan er nog eea bovenop komen (mijn ervaringen zijn in een fabriek die niet voor halfgeleiders is):

-Ontruiming: Tijdens een stroomuitval kan je niet altijd de veiligheid garanderen. Honderden tot duizenden mensen moeten buiten wachten.
-Veilig stellen: De veiligheids-afdeling moet garanderen, dat er nergens gevaarlijke kortsluiting is, of vonken in de buurt van gassen,
-Gasmetingen - soms met ademlucht, om te kijken of electro-technisch personeel veilig naar binnen mag,
-Root cause analyse, hoe komt het? Als bij de stroomleverancier een trafo eruit klapt, hoe garandeer je dat dit niet weer gebeurt gelijk als de nieuwe aangesloten wordt?
-Opruimen: Machines zijn niet altijd uitgebreid getest om in een keer uit te vallen. Soms lekken ze bij stroomuitval vloeistoffen, omdat normaal altijd open zijnde veiligheids-kleppen met geweld dicht springen. Die gelekte plasjes kunnen mogelijk weer electrocutie-gevaar opleveren,
-Vaak moeten machines in groepjes worden opgestart, vanwege grote 'opstartvermogens'. 1 oven opwarmen kost misschien evenveel stroom als 10 bij normaal bedrijf warm houden, dus bij alles tegelijk starten klapt de boel,
-Personeel briefen over opstart-procedures, wie waar wanneer,
-Kwaliteits-medewerkers alle tussen-voorraden / work in process laten beoordelen,
-Machines leegdraaien indien nodig,
-Benodigde buffers tussen de processen in weer vullen.

Hm wanneer was dit? Ik heb een aantal dagen geleden Crucial ram besteld via hun website en toen was er al geen voorraad. Momenteel nog steeds geen verwachte levertijd.

Edit: Bedankt voor de antwoorden!

[Reactie gewijzigd door Saitama op 4 december 2020 14:50]

In de middag in Taiwan (UTC+8) op 3 december.

Gisteren (3 december) volgens https://technews.tw/2020/12/03/micron-mmtw-malfunction/

Samsung B-die is the way to go anyways

Alleen voor ryzen gen 1 en in mindere mate gen 2.
Voor de rest is dat totaal niet belangrijk meer.

Ik sta er altijd van te kijken wat een reusachtige gebouwen deze bedrijven hebben. Heel iets anders dan wat je in de Benelux terug vind.

In Taiwan heeft het sowieso niet zo heel veel zin om een backup power centrale te hebben. Veel vaker komt er daar een aardbeving voor, daar gaan de fabs (meestal) ook door plat.

En als ze plat gaan,kost het inderdaad wel wat tijd om eea weer op te starten.
Het vermogen dat verstookt wordt moet ook afgevoerd worden. Als de stroom uitvalt valt ook koeling e.d uit en gaat de temp zo een paar graden omhoog. Als dat gebeurt moeten de meeste precisie machines wel opnieuw gesetupped worden, wat soms dagen kan kosten.

Verdorie, wanneer is dit geweest? Wacht al meer dan een maand op een setje DDR4 van crucial (Micron).

Bij mijn vader op de fabriek gebeurt het eens in de paar maand dat ze stroomloos zijn. En geloof mij maar, dat gebeurt niet voor de lol. In zijn geval kan de fabriek waar hij werkt maximaal twee uur stroomloos zijn. Daarna kunnen er ovens stuk gaan. Om deze ovens weer in bedrijf te nemen, kost het minsten een halfe werkdag om er weer 1 aan de praat te krijgen. Daarnaast is de kans dat ze stuk gaan enorm groot na twee uur. Aangezien ze dan te ver zijn afgekoeld. Daarmee kost het ze gouw een half miljoen of meer mochten ze meer dan twee uur stroomloos staan. Nou is dit een geheel ander soort fabriek (aluminium), maar de kans dat micron even "voor de leuk" stroomloos is, en daarmee de geheugen prijsen op wil schroeven, is toch vrij ongeloofwaardig. Geen enkele fabriek wil stroomloos zijn. Helaas valt er vaak niets aan te doen mocht dit wel gebeuren.

Dat begrijp ik maar een stroom storing van een uur zoals in dit bericht staat, moet toch wel op te vangen zijn. Dit moet onderdeel van je business continuity plan zijn. Lijkt me dat je maatregelen neemt waardoor je minimaal 2-4uur bij stroomt uitval moet kunnen doorwerken of iets dergelijks. Maar ik denk er waarschijnlijk te makkelijk over ik neem aan dat veel knappe koppen hier hun brood mee verdienen en dit blijkbaar niet 100% redundant te krijgen is.

[Reactie gewijzigd door BlacKstaR- op 4 december 2020 15:10]

Ik snap je veronderstelling, maar de praktijk blijkt een stuk ingewikkelder . In de industrie is het algemeen gebruik om onderscheid te maken tussen kritische, preferente en niet-kritische verbruikers.

• Een niet kritische verbruiker mag bij uitval van de netvoeding uitvallen zonder dat dit kwaad kan. Denk hierbij bijvoorbeeld aan de verwarming in een fabriek - het is niet comfortabel als die een paar uur buiten gebruik is, maar ook geen ramp.
• Kritische verbruikers mogen nooit uitvallen, zelfs een stroomonderbreking van een seconde is niet toegestaan. Verreweg de meeste besturingssystemen in fabrieken - computers, PLC’s en dergelijke - zijn kritische verbruikers. Dergelijke systemen worden achter een zogeheten no-break installatie gehangen, die de voeding onmiddellijk overneemt bij uitval van de netvoeding. Een UPS is een mooi voorbeeld van een eenvoudige no-break installatie. Forse UPS’en kunnen vermogens leveren in de orde van tientallen kilowatts gedurende een paar uur.
• Preferente gebruikers zijn verbruikers die bij een stroomstoring tijdelijk uitvallen, maar daarna zo snel mogelijk weer worden herstart. Denk hierbij aan zware pompen en andere machines die te veel vermogen vragen om door een no-break te worden gevoed. Vaak worden preferente gebruikers gevoed door een dieselaggregaat, dat (door het besturingssysteem) wordt opgestart zodra de netvoeding wegvalt. Grote dieselaggregaten hebben vaak vermogens van een paar megawatt en dieselvoorraad voor een dag. Bij noodgevallen kan er een tankwagen komen om de brandstofvoorraad aan te vullen.

Een dieselgenerator heeft wat tijd nodig om op te starten en kan daarom niet worden gebruikt als een vervanging van een UPS. Wel kan hij als onderdeel van een no-break installatie worden gebruikt om de energievoorziening voor de kritische verbruikers over te nemen van de UPS. De UPS neemt dan de eerste seconden of minuten voor zijn rekening en daarna neemt de generator het over. De no-break bestaat dan uit een combinatie van een UPS, een aggregaat en een hoop complexe apparatuur.

Wat de situatie bij halfgeleiderproducenten zo lastig maakt, is dat ze heel veel kritische verbruikers hebben die allemaal heel veel vermogen vragen. Dat is eenvoudigweg niet op te vangen met een no-break installatie. Er zijn ongetwijfeld een hoop maatregelen genomen om de kans op uitval van de netspanning te minimaliseren en de gevolgen minder groot te maken, maar dat is in dit geval niet genoeg gebleken. Bedenk ook dat de schade nu wellicht tientallen miljoenen bedraagt, maar een zeer grote no-break installatie ook niet bepaald gratis is.

[Reactie gewijzigd door Tomatoman op 4 december 2020 20:31]

Forse UPS’en kunnen vermogens leveren in de orde van tientallen kilowatts gedurende een paar uur.

Tientallen? Denk eerder aan honderden tot duizenden. Diverse UPS systemen die ik gebruik zijn per stuk van 200 tot 400MVA. Die kun je ook nog eens aan elkaar knopen zodat ze samen (parallel) tot ca. 1,2MVA per 'cluster' kunnen voeden. Eventueel met daarin nog eens een 'hot-spare' ingebouwd om eventuele defecten op te vangen.

Als je nog grotere unit pakt, van bijv. 1,2MVA per stuk kun je die in het geval van bijv. een Eaton 9395P tot wel 8,4MVA aan elkaar koppelen tot 1 systeem.

[Reactie gewijzigd door Erwin-NL op 4 december 2020 21:27]

Je mag zoveel backup systemen hebben als je wenst. Als Murphy zegt dat het genoeg is geweest gaan je systemen gewoon neer.

Vergeet niet: Murphy was een optimist!

De halfgeleider industrie en wafer fabs gebruiken ontzettend veel stroom, zo veel zelfs dat grote fabs hun eigen energie centrales hebben, aangezien het gewone stroomnet niet kan voldoen aan hun eisen. Een backup systeem bedenken is dus inderdaad niet makkelijk te bedenken, vooral als het kostendekkend moet zijn.

"A typical semiconductor fabrication plant, or fab, will use as much power in a year as about 50,000 homes"

Is dus niet iets dat je met een leuke UPS uit de pricewatch opvangt

https://www.mckinsey.com/..._fabenergyefficiency.ashx

Wat denk je, dat je een paar UPS'en plaatst om dit op te vangen?
De oude thermco systemen waar ik mee heb gewerkt: 110V stroom 100-150ampere = 11-16.5 KW
Dit maal 70!
We hadden machines daar zaten op een paneel van 100x60cm (ong) een soort lampen van 3000 watt, een stuk 8 per paneel , 5 panelen per machine. Reken maar uit. Deze jongens hadden hun eigen trafo's buiten het gebouw staan. Ik weet nog goed de kabels onder ons kantoor liepen, we hadden toen nog CRT monitors. als deze precies boven die kabels stonden, dan waren ze met een jaar kaduuk.

30 en 31 december 1999: De Y2K bug in computers. Voorbereiding: rondom de fabriek was het bezaaid met van Bredevoort generatoren. Op 31-12 rond 09:00 werden alle machines v.h. net geschakeld en op de generatoren gezet. Polsdikke kabels door de ramen, kantoren naar machines. Bizar.
Ohja er is niks misgegaan. Alleen een paar oude XT/AT PC's die wat problemen hadden.

Niemand betaalt spot prijzen. Dat de spot markt hier op reageert, zegt niets over de future prijzen of contractprijzen.

Begin dit jaar nog: nieuws: Chipfabriek Samsung ligt stil na korte stroomuitval

En iets recenter ook nog nieuws: Brandweer blust brand in Samsungs chipfabriek Zuid-Korea

Maar ik denk niet dat je meteen complotten moet gaan zoeken, bedrijven doen dit soort dingen echt niet voor hun lol ofzo. Iets met slechte PR. Ongelukjes of technische mankementen kunnen nu eenmaal altijd gebeuren.

Waarschijnlijk zijn de kosten van een stroomuitval lager dan de kosten van een redundant stroomnetwerk (wat ook maar mogelijk moet zijn). Veel lagere tier datacenters voor niet cruciale data werken met upsen van een paar minuten, zodat je alles netjes af kunt sluiten. Daar kom je ook niet weg met een stroomuitval van een uur.

Dat is nodig om de diesels te starten.

Ook daar gebeurt dat. Zelden weliswaar, maar toch. Of er wordt een verkeerde config gepushed die een deel van de AWS infra onderuit trekt. Het verschil is dat een datacenter kan worden vervangen door een ander datacenter, bij een fabriek kan niet. Waarschijnlijk is het al een paar keer gebeurd dat een dienst die je gebruikt een datacenter offline had, je merkt er echter zelden iets van.

Bij zulke cloud providers zijn de datacenters van zichzelf al redundant, dus als er ergens een datacenter eruit ligt zou je dat eigenlijk niet of nauwelijks van (mogen) merken.

Ben het zeker net je eens dat een klassieke stroomstoring eigenlijk niet zo'n cruciaal productieproces zou mogen lamleggen.
Je weet van tevoren wat de impact kan zijn, zijn er dan geen nood UPS'en met aggregaten geplaatst ?

Ooit uitgerekend hoeveel het kost om 100+ MW aan noodstroom aan te leggen?

Gebeurt toch vaker dan je denkt bij datacenters
Vaak treft het maar een (klein) deel van de gebruikers, en duren ze vaak een stuk korter omdat ze nu niet direct een heel productieproces moeten uitpluizen.
Tevens redundant maken is niet zo simpel als een paar ups'en ertussenplakken.

Zo werkt het helaas niet. DDR4 is geen olie. Je produceert of je produceert niet.

Dat is bij olie toch precies hetzelfde. Of je pompt het op of niet. OPEC bepaalt vaak de prijs door af te stemmen hoeveel er opgepompt gaat worden in een periode. Wanneer ze besluiten minder op te pompen, dan gaat de prijs omhoog.

Olie prijzen worden niet bepaald door hoeveel er van geproduceerd wordt, maar hoeveel er beschikbaar is. Olie raakt op, daardoor zou je er voor kunnen kiezen om minder op te pompen, want op = op. Bij geheugen kan je gewoon door blijven produceren. Bij de ene is het een issue van aanbod, de ander een issue van vraag.

Nee wat @hiostu zegt klopt, de prijs wordt weldegelijk bepaald door hoeveel er wordt opgepompt. Dit is ook de reden waarom er groepen zijn die samenwerken, zodat ze de prijs op een handhaafbaar niveau houden. Zouden ze dit niet doen zou de prijs kelderen.

Gewoon prijsafspraken dus. Kartels zijn verboden.

In Nederland zijn kartelafspraken verboden. De OPEC-landen hebben hun eigen nationale wetgeving, die het maken van afspraken over het oppompen van de hoeveelheid geproduceerde olie niet verbiedt. Het zou ook heel raar zijn als ze dergelijke wetgeving wél zouden hebben, omdat die een regelrechte bedreiging zou vormen voor hun nationale economie.

We gebruiken in Europa wel olie uit OPEC landen. Dat ze het buiten onze invloedzone flikken wil niet zeggen dat we het maar moeten accepteren.

Nee, maar doen we gewoon wel.

afspraken tussen fabrikanten om de prijs te beïnvloeden zijn INTERNATIONAAL verboden, als je wilt deelnemen aan de wereldhandel, mag het niet.
Maar dit gaat over afspraken tussen staten, om de prijs te beïnvloeden. De staat mag het wel. En wij doen het ook. Er is een productielimiet op heel veel landbouwproducten. Dit doen we omdat we slechte herhinneringen hebben gehad aan de melkplas, de boterberg, de graanberg, de varkensstapel

Dat is op dit moment nog niet aan de orde aangezien er nog ruim voldoende olie is voor de komende jaren. OPEC heeft eigenlijk altijd de prijs bepaald voor olie. Was die te laag, dan kondigde ze aan minder olie op te pompen, was die te hoog dan beloofden ze de productie te verlagen waardoor de prijs steeg. Nu is de invloed van de OPEC de laatste jaren wat minder geworden, ze hebben niet meer 70% van de markt in handen en heeft de VS meer invloed bijgekregen als producent.