Bij die onderhoudsronde keken we verder dan de geïnstalleerde updates. We controleerden ook of de maatregelen werkten en of de toegang tot de servers nog goed was ingesteld. Juist die nacontrole bleek waardevol: op één server vonden we een afwijkende inloginstelling die we direct hebben hersteld.
Wat er speelde
Een van de problemen was een lek in PHP, de taal waarin veel webapplicaties draaien, waaronder die van ons. Toen het lek in oktober bekend werd, blokkeerden we de bekende aanval nog diezelfde dag met een tijdelijke maatregel in de webserver. Binnen een dag draaide onze grootste applicatie op een versie zonder het lek. Daarna volgden onze andere applicaties.
Daarnaast publiceerde Ubuntu op 20 oktober een update voor onbetrouwbare certificaten van eMudhra. Met zulke certificaten kan een verbinding betrouwbaar lijken terwijl die dat niet is. Op 5 november volgde een aanvullende fix voor de certificaatopslag van Java.
Er speelden nog twee andere problemen:
een lek in de Linux-kernel, dat via het netwerk van buitenaf te misbruiken was;
een lek in de pakketbeheerder van Ubuntu, waarmee een gemanipuleerde download tot volledige toegang kon leiden.
Wat we deden
Tijdens de onderhoudsronde van 9 november pakten we eerst het kernellek aan. We sloten de bekende aanvalsroute af door de netwerkfunctie uit te zetten waarvan de aanval gebruikmaakte. Dat deden we op de server zelf en waar nodig ook in Docker en in de webserver.
We controleerden ook de certificaatlijsten en de pakketbeheerder. Op meerdere servers waren de fixes al automatisch geïnstalleerd. Waar nodig werkten we de pakketten en containerimages bij. Een bijgewerkte server betekent namelijk niet vanzelf dat ook de software in elke container is bijgewerkt.
Om de kernelupdates actief te maken, planden we per server een herstart. Vooraf bepaalden we hoe we de server konden herstellen als die daarna niet goed opkwam.
Na elke stap controleerden we of de applicatie nog draaide en of de maatregel echt werkte. Alles wat we deden, legden we per server vast in een verslag.
De nacontrole hoort erbij
Na de updates controleerden we ook de toegang tot de servers. Op één server bleek inloggen met een wachtwoord nog mogelijk, terwijl wij alleen toegang met een sleutel toestaan. We hebben die instelling direct hersteld en de beschikbare logboeken nagelopen. Daarin vonden we geen aanwijzingen voor ongeoorloofde toegang.
Die bevinding was aanleiding om onze nacontrole uit te breiden. Sindsdien lopen we na groot onderhoud of aanpassingen aan een server de beveiligingsinstellingen extra na. We controleren wie er kan inloggen en welke netwerkdiensten bereikbaar zijn. Dat toetsen we ook van buitenaf, zodat we weten wat de server werkelijk toestaat.
Ook de controle op de uitgeschakelde netwerkfunctie hebben we aangescherpt. Een tweede meting liet zien dat de eerste controlemethode op deze servers niet betrouwbaar was. De aangepaste methode staat nu in onze werkinstructie.
Daarnaast hebben we de webserver op een paar machines verder afgeschermd. Die heeft nu alleen nog de rechten die hij echt nodig heeft.
Waarom dit ertoe doet
Voor gebruikers was er tijdens deze ronde weinig te zien. Toch was er onderhoud nodig om de servers te beschermen. Daarom controleren we na afloop zowel de applicatie als de beveiligingsinstellingen. De uitkomsten leggen we samen met de wijzigingen vast, zodat we bij een volgende onderhoudsronde weten wat er eerder is gedaan.
Wat je je eigen developer of hoster kunt vragen
Binnen hoeveel tijd worden kritieke beveiligingsupdates uitgerold, ook van PHP en de pakketten in de applicatie zelf?
Wordt na een update gecontroleerd of hij echt is gelukt, en hoe?
Wanneer is er voor het laatst een back-up teruggezet om te kijken of hij werkt?
Wordt bijgehouden wat er per server is gedaan?
Krijg je op die vragen geen duidelijk antwoord, dan is het tijd om er iets aan te doen. Hoe wij dat regelen, lees je bij beheer en SLA.