here are the most important points from today's ilya sutskever podcast: - superintelligence in 5-20 years - current scaling will stall hard; we're back to real research - superintelligence = super-fast continual learner, not finished oracle - models generalize 100x worse than humans, the biggest AGI blocker - need completely new ML paradigm (i have ideas, can't share rn) - AI impact will hit hard, but only after economic diffusion - breakthroughs historically needed almost no compute - SSI has enough focused research compute to win - current RL already eats more compute than pre-training

Neue Forschung von Anthropic: Natürliche emergente Fehlanpassung durch Belohnungshacking in der Produktion von RL. "Belohnungshacking" ist, wenn Modelle lernen, bei den Aufgaben, die ihnen während des Trainings gegeben werden, zu schummeln. Unsere neue Studie zeigt, dass die Folgen von Belohnungshacking, wenn sie nicht gemildert werden, sehr ernst sein können.