Kubernetes-migrering drepte nesten oppstarten vår. Hvor vi var: - 8 EC2-forekomster - Ansible for distribusjoner - Kjedelig, men fungerer - $1200/måned AWS-regning Hvorfor vi migrerte: - Ny investor ønsket «cloud-native» - Ingeniører ønsket K8s erfaring - Konkurrenter brukte det - Virket som fremtiden 6 måneder senere: - 3 ingeniører som bruker heltid på K8 - AWS-regning til $ 4500 / måned - Utplasseringene tok lengre tid enn før - Flere strømbrudd, ikke færre - Produktutviklingen stoppet opp Vi rullet tilbake: - Flyttet til ECS Fargate - 2 ukers migrasjon - Tilbake til $ 1800 / måned - Ingeniører tilbake på funksjoner K8s er fantastisk for skala. Vi var ikke i stor skala. Teknologi skal løse problemer du faktisk har.

Lagt til gzip-komprimering i API-en vår. Svarstørrelsen falt med 85 %, ventetiden falt med 60 %. Før kompresjon: - Gjennomsnittlig respons: 240 KB - Overføringstid: 400ms - Båndbredde kostnad: $ 220 / måned Etter kompresjon: - Gjennomsnittlig respons: 36 KB - Overføringstid: 48ms - Båndbredde kostnad: $ 70 / måned Lagt til komprimeringsmellomvare Resultater: - Lastetid: 88% raskere - Båndbredde: 68 % reduksjon

En penetrasjonstester fikk root-tilgang til Kubernetes-klyngen vår på 15 minutter. Her er hva de utnyttet. Angrepskjeden: - Fant eksponert Kubernetes-dashbord (vår dårlige) - Dashbordet hadde skrivebeskyttet tjenestekonto (vi trodde dette var trygt) - Tjenestekontoen kan vise hemmeligheter på tvers av alle navneområder - Fant AWS-legitimasjon i en hemmelighet - Brukte AWS-legitimasjon for å få tilgang til EC2-forekomstprofilen - Forekomstprofilen hadde full Kubernetes-administrasjon via IAM - Brukt kubectl for å lage privilegert pod - Rømt til node - Root-tilgang til hele klyngen Hva vi trodde vi gjorde riktig: - Dashbordet var skrivebeskyttet - Hemmeligheter ble kryptert i hvile - Nettverkspolicyer var på plass - Regelmessige sikkerhetsoppdateringer Hva vi gikk glipp av: - Dashbordet skal ikke eksponeres i det hele tatt - Tjenestekontoer trenger prinsippet om minste privilegium - Hemmeligheter bør ikke inneholde AWS-legitimasjon (bruk IRSA i stedet) - Retningslinjer for pod-sikkerhet ble ikke håndhevet - Nodetilgang ble ikke herdet Løsningen tok 2 uker: - Fjernet Kubernetes-dashbordet helt - Implementert IRSA for all pod AWS-tilgang - Brukte strenge sikkerhetsstandarder for PSP-er/Pod-er - Overvåk alle RBAC-tillatelser - Regelmessig penetrasjonstesting kostnad: $24K for pennetesten Verdi: Forhindret det som kunne ha vært et katastrofalt brudd