Pathway обучила post-transformer архитектуру BDH-CQ на SageMaker HyperPod

Рассуждение перенесено из текста во внутреннее состояние

AWS и Pathway описали разработку Baby Dragon Hatchling, или BDH, — brain-inspired post-transformer архитектуры, которая выполняет итеративное рассуждение в latent space. В отличие от систем, выводящих промежуточную chain-of-thought токен за токеном и затем возвращающих её в следующий шаг, BDH изменяет recurrent internal state и декодирует только кандидатные ответы. Заявленная цель — не платить контекстом, latency и output tokens за каждый промежуточный шаг.

BDH формулирует sequence modeling как локальную динамику графа взаимодействующих neuron particles. Связи между ними хранят состояние, напоминающее synaptic memory, а attention реализуется через Hebbian learning — принцип совместного усиления активных элементов. Pathway сообщает, что обычно одновременно активны около 5% neurons. Разреженность и локальность должны уменьшать объём вычислений на шаг, однако это преимущество ещё зависит от конкретной GPU implementation и workload.

BDH-CQ добавляет обучение из контекста и visual reasoning

Над базовой BDH компания построила BDH-CQ — систему для in-context learning и решения визуальных задач через повторяющиеся вычисления в latent state. Несколько neuron communities могут параллельно представлять разные кандидатные гипотезы, не разворачивая каждую в длинный текст. По описанию авторов, система обрабатывает произвольное число demonstrations при фиксированной стоимости памяти, а знания текущей задачи обновляет во внутреннем состоянии без test-time weight updates.

Это не означает, что модель приобрела постоянную память между независимыми запусками или автоматически превзошла transformers во всех языковых задачах. Опубликованный результат относится к конкретной 150M-parameter architecture и задаче поиска абстрактного преобразования в grid. AWS также излагает преимущества в материале о совместной работе с клиентом HyperPod, поэтому заявленную универсальность post-transformer подхода следует отделять от измеренного benchmark.

На ARC-AGI-1 заявлены 29,5% pass@2

BDH-CQ получила 29,5% pass@2 на ARC-AGI-1 при расчётной стоимости $0,0007 за задачу. Результат отнесён к состоянию cost-accuracy Pareto frontier на август 2026 года. В ARC-AGI-1 модели показывают несколько пар grid до и после неизвестного преобразования; система должна вывести правило и применить его к новой сетке. Метрика pass@2 даёт две попытки, поэтому её нельзя напрямую сравнивать с single-shot accuracy без согласования протокола.

Авторы связывают эффективность с recurrent latent computation: examples изменяют internal memory, после чего модель уточняет решение и выводит только кандидаты. При этом один показатель на ARC-AGI-1 не подтверждает заявленные прикладные сценарии вроде расследования cybersecurity incidents, управления транспортом или industrial operations. Он показывает результат в ограниченном классе visual induction tasks; перенос на реальные процессы требует отдельных dataset, latency и reliability measurements.

Обучение масштабировали на H200 через HyperPod

Pathway использовала Amazon SageMaker HyperPod для распределённой разработки BDH. В описанной конфигурации работали EC2 p5en.48xlarge instances с NVIDIA H200; сеть обеспечивали Elastic Fabric Adapter и EC2 UltraCluster. AWS указывает до 3200 Gbps network performance на instance. EFA интегрируется с CUDA и NCCL, чтобы передавать данные, weights и activations между GPU с меньшей сетевой задержкой.

Архитектура поддерживает PyTorch, поэтому её можно встраивать в знакомый training workflow. Для наблюдаемости Pathway сочетала HyperPod с Amazon Managed Service for Prometheus и Amazon Managed Grafana: команда отслеживала GPU utilization, memory patterns и эффективность inter-node communication. Для экспериментальной архитектуры это особенно важно — slowdown может быть следствием как самой модели, так и плохого распределения работы или сетевого bottleneck.

Линейный attention не создаёт растущий KV-cache

Attention в BDH работает над fixed high-dimensional states по линейному механизму. Это должно позволять обрабатывать длинные последовательности без характерного для transformer роста KV-cache и без жёсткой привязки reasoning horizon к фиксированному context window. Состояние напрямую сопоставляется соединениям между парами neurons, что, по утверждению Pathway, делает внутреннюю динамику доступнее для наблюдения, чем закрытое dense transformer state.

Однако доступность состояния не равна автоматически полной интерпретируемости решения. Чтобы назвать reasoning объяснимым, нужно показать, как конкретные локальные взаимодействия устойчиво соответствуют понятным причинам ответа и как эта связь ведёт себя при adversarial inputs. Официальная публикация даёт архитектурную мотивацию и benchmark, но не представляет исчерпывающей независимой оценки interpretability или safety.

Открытая реализация позволяет проверить результат

Pathway опубликовала technical documentation и sample implementation BDH. Это даёт исследователям возможность повторить обучение, проверить protocol ARC-AGI-1, измерить фактическую стоимость и сравнить latent iteration с transformer baselines при одинаковых ограничениях. Для воспроизводимости особенно важны число попыток, preprocessing grids, hardware utilization и то, какие расходы включены в $0,0007 на задачу.

Главный результат работы — не доказательство конца transformer era, а проверяемая альтернативная конструкция, в которой память и рассуждение живут в recurrent continuous state, а наружу не выводится длинный промежуточный текст. Если открытые повторения подтвердят cost-efficiency и покажут перенос на другие задачи, BDH сможет стать отдельным классом практических reasoning models. Пока корректнее считать её перспективной post-transformer архитектурой с сильным, но узким публичным benchmark.