Exabits и прорыв MyShell: от миллиардов до 100 000 долларов затрат на обучение LLM
Exabits продемонстрировала свою способность обучать большие языковые модели (LLM), сотрудничая с MyShell, чтобы значительно сократить затраты на обучение с миллиардов до менее чем 100 000 долларов.
JetMoE-8B стоит менее 0,1 миллиона долларов, но превосходит LLaMA2-7B от Meta AI (стоимость обработки составляет несколько миллиардов долларов).
MyShell: «Достижение производительности LlaMA2 с помощью модели JetMoE стоимостью 100 000 долларов, вдохновленной архитектурой разреженной активации ModuleFormer, представляет собой важную веху в машинном обучении. JetMoE-8B с 8 миллиардами параметров и сложной структурой из 24 блоков, каждый из которых содержит два слоя MoE (Attention Head Mixture и MLP Experts Mixture), демонстрирует повышенную эффективность и вычислительный интеллект.
Выборочная активация 2 из 8 экспертов на каждом уровне на каждый входной токен демонстрирует усовершенствованное использование структуры Sparse Mixture of Experts (SMoE), улучшающее реагирование модели и управление ресурсами.
Эффективность JetMoE-8B с его 2,2 миллиардами параметров активации значительно снизила затраты на обучение, обеспечивая при этом высокую производительность. Эффективность модели проиллюстрирована на следующем рисунке: JetMoE-8B достиг самых современных результатов в пяти категориях по восьми оценочным критериям, опередив конкурентов, таких как LLaMA-13B, LLaMA2-7B и DeepseekMoE-16B.
В тесте MT-Bench JetMoE-8B набрал 6681 балл, опередив модели с более широкими возможностями, такие как LLaMA2 и Vicuna, которые имеют 13 миллиардов параметров.
Но что усиливает эту архитектурную сложность, так это вклад Exabits в виде ускоренного и стабилизированного кластера из 12 узлов графических процессоров H100 (96 графических процессоров). Платформа Exabits сыграла решающую роль в создании модели JetMoE, обеспечив стабильную, сверхдоступную и надежную производительность за небольшую часть стоимости «больших вычислений».
Эта синергия между инновационным дизайном JetMoE и передовой технологией графического процессора Exabits не только иллюстрирует квантовый скачок в возможностях машинного обучения, но и подчеркивает эффективность объединения передовых архитектур моделей с инфраструктурой облачных вычислений Exabits.
Разрушая миф: децентрализованная платформа графических процессоров для обучения LLM
Exabits развенчала скептицизм по поводу того, что децентрализованные платформы графических процессоров не подходят для обучения LLM. Благодаря сложному техническому стеку, эффективному промежуточному программному обеспечению и надежной цепочке поставок вычислительных ресурсов Exabits продемонстрировала, что обучение LLM и логические выводы не только возможны, но также эффективны и чрезвычайно рентабельны на такой платформе.
Exabits, децентрализованная платформа облачных вычислений, преодолевает ограничения стандартных децентрализованных платформ, выступая в качестве базового уровня вычислительной инфраструктуры искусственного интеллекта и предлагая полнофункциональное решение. Это достигается путем агрегирования, ускорения и стабилизации графических процессоров потребительского уровня, чтобы довести производительность графических процессоров корпоративного уровня почти до паритета. Этот подход задействует большой, но в значительной степени неиспользованный резерв потребительских графических процессоров, облегчая кризис нехватки графических процессоров.
Кроме того, обширный опыт Exabits в индустрии центров обработки данных обеспечивает уникальный доступ к востребованным графическим процессорам корпоративного уровня H100 и A100, а вскоре и к B200, что еще больше способствует демократизации разработки искусственного интеллекта. Партнерство с такими проектами, как io.net, Render Network, Akash, Aethir, EMC и Solana, помогло Exabits посеять и создать широкомасштабную взаимосвязанную децентрализованную вычислительную сеть.
Эта суперсеть потенциально может противодействовать таким компаниям, как AWS, Google и Microsoft, делая ИИ доступным для всех, кто хочет строить в этой сфере.
Будущее обучения LLM с Exabits
Exabits — это не просто технологическая платформа; воплощает удобство, доступность и экологическое сознание. Успех JetMoE-8B подчеркивает жизнеспособность этой платформы в использовании высококлассных моделей обучения, открывая путь к более устойчивым и инклюзивным достижениям в исследованиях и разработках в области искусственного интеллекта.
В заключение, Exabits определенно можно считать заметным игроком в области искусственного интеллекта, бросающим вызов большим вычислениям и демонстрирующим, что платформы облачных вычислений в пространстве web3 действительно могут эффективно и экономично поддерживать настоящее обучение LLM. Это не только открывает новые возможности для исследований и применения искусственного интеллекта, но и устанавливает новый стандарт в вычислительной экономике, знаменуя новую эру инноваций и сотрудничества в области Web3 и искусственного интеллекта.
Пост Exabits и прорыв MyShell: затраты на обучение LLM от миллиардов до 100 тысяч долларов впервые появились на BeInCrypto .