Чому нейронні мережі навчаються на межі хаосу Коли ви навчаєте нейронну мережу, оновлення параметрів зазвичай не розподіляються. Вони важкохвості — рідкісні великі стрибки супроводжують багато дрібних коригувань. Ця закономірність проявляється у MLP, CNN і Transformers, у MNIST і CIFAR-10, у ранньому швидкому навчанні та пізній конвергенції. Це підозріло універсально. Сінь-Я Чжан і Чао Тан стверджують, що це не особливість стохастичного градієнтного спуску чи міні-батч-шуму. Це ознака самоорганізованої критичності, що виникає з фундаментального компромісу: принцип максимальної ентропії змушує мережу вільно досліджувати, тоді як взаємне інформаційне обмеження змушує оновлення залишатися релевантними до завдання. Якщо збалансувати ці дві сили, отримаєте статистику закону ступеня — ту ж масштабну поведінку, що спостерігається при землетрусах, нейронних лавинах і фінансових ринках. Докази переконливі. Показник ступеневого закону залишається дивовижно стабільним протягом усього тренування, навіть коли втрати зменшуються на порядки. Сам ландшафт втрат демонструє багатомасштабну структуру: експоненціальну гладкість під малими збуреннями (локально плоскі басейни), перехід до ступеневої жорсткості на більших масштабах. Навіть час великих оновлень відповідає важкохвостій статистиці — великі навчальні події збираються разом, а не випадково, з показниками близько 2,5–2,7. Те, що робить це концептуально задовільним, — це теоретичне виведення з перших принципів. Починаючи з максимізації ентропії за інформаційним обмеженням і використовуючи інтегральну формулювання KL дивергенції через простір параметрів, автори точно відновлюють спостережувану поведінку масштабування. Без тонкого налаштування, без випадкових припущень. Наслідки глибокі: навчання нейронних мереж — це не просто оптимізація, це нерівноважний фізичний процес, який керується тими ж статистичними принципами, що формують складні системи по всій природі. Розуміння цього могло б допомогти розробці більш ефективних алгоритмів навчання та пояснити, чому SGD узагальнюється краще, ніж адаптивні методи, які пригнічують великі дослідницькі оновлення. Стаття:

Генеративний ШІ розшифровує структури MOF безпосередньо на основі рентгенівських дифракційних патернів Металоорганічні каркаси (MOF) є надзвичайно корисними матеріалами: пористими, налаштовуваними, застосовними для всього — від зберігання газу до доставки ліків. Але ідентифікація їхніх структур за допомогою даних порошкової рентгенівської дифракції залишається вузьким місцем, особливо для автоматизованих лабораторій, де не можна звернутися до експерта, який би інтерпретував кожен візерунок вручну. Основна проблема: MOF можуть містити сотні атомів, розташованих у складних тривимірних мережах. Стандартні підходи до інтерпретації XRD стикаються з проблемами перекриття піків і величезної структурної різноманітності. Бін Фен, Бінсю Ван та колеги переосмислюють проблему як генерацію зображень. Їхня модель Xrd2Mof розглядає XRD-патерни як текстові підказки, а структури MOF — як зображення, які потрібно згенерувати, а потім застосовує архітектуру стабільної дифузії для вивчення відображення між ними. Головне розуміння — це грубозернистість. Замість того, щоб намагатися передбачити кожну атомну позицію, вони представляють MOF як мережі металевих вузлів, з'єднаних центроїдами-лінкерами. Це працює, бо різкі піки в XRD патернах здебільшого походять від атомів важких металів. Зменшення сотень атомів до десятків точок з'єднання стискає задачу на порядок величини, зберігаючи при цьому структурну інформацію, яка дійсно має значення для дифракції. Навчений майже на 80 000 конструкцій MOF з Кембриджської структурної бази даних, Xrd2Mof досягає понад 93% точності у зіставленні XRD-патернів із їхніми правильними структурами. Він охоплює практично всі відомі топології фреймворку та успішно перевіряється на експериментальних даних. Практичне значення: лабораторії з самокеруванням тепер можуть переходити від сирих дифракційних даних до відновлених кристалічних структур без втручання людини — можливості, якої раніше бракувало в автоматизованих конвеєрах відкриття MOF. Стаття:

Машинне навчання для прогнозування, які MOF реально можна створити в лабораторії Металоорганічні каркаси (MOF) — одні з найбільш налаштовуваних матеріалів, коли-небудь створених — пористі кристали, зібрані з металевих вузлів і органічних лінкерів, з застосуванням від зберігання газу до каталізу. З обчислювальної точки зору ми можемо генерувати трильйони можливих структур. Проблема в тому, що майже жоден із них не синтезується. З тисяч опублікованих скринінгів MOF лише близько десятка призвели до реального лабораторного синтезу, і навіть тоді хіміки зазвичай обирають «безпечні» конструкції, що нагадують відомі структури, а не обчислювально оптимальні. Андре Нійонгабо Рубунго та співавтори вирішують це вузьке місце трьома інгредієнтами: (1) MOFMinE — новий набір даних із майже мільйоном MOF з імітованими енергіями деформації та вільними енергіями для підмножини з 65 000 структур; (2) MOFSeq — послідовне представлення, яке кодує як локальні ознаки (SMILES будівельних блоків), так і глобальні ознаки (топологія та зв'язність); та (3) LLM-Prop — мовна модель з 35 мільйонами параметрів, попередньо навчена на даних про значну енергію деформації, а потім доопрацьована на дорожчих розрахунках вільної енергії. Результати вражають: середня абсолютна похибка 0,789 кДж/моль, 97% точності прогнозування синтезованості та 78% точність вибору правильного поліморфу серед конкуруючих структур. Навіть якщо два поліморфи відрізняються лише на 0,16 кДж/моль, модель все одно обирає правильний понад 60% випадків. Висновок практичний: те, що раніше вимагало днів молекулярної симуляції, тепер здійснює прямий прохід через нейронну мережу. Це відкриває шлях до регулярної фільтрації обчислювальних скринінгів MOF за прогнозованою синтезованістю — дозволяючи експериментаторам виходити за межі «інтуїтивних» проєктів у невивчені області хімічного простору, водночас підвищуючи ймовірність того, що те, що добре виглядає на комп'ютері, справді можна створити в лабораторії. Стаття: