Публикации по теме 'large-language-models'


Еженедельник генеративного искусственного интеллекта  —  Выпуск №9
Еженедельный информационный бюллетень обо всем, что связано с генеративным искусственным интеллектом, с обновлениями, новостями, рекомендациями, проектами и многим другим. Доброе утро! И добро пожаловать в очередной выпуск моего еженедельного информационного бюллетеня по искусственному интеллекту в этот прекрасный понедельник, 11 сентября. Какая неделя позади! Прогресс в области искусственного интеллекта по-прежнему стремительно развивается, но самое главное: Германия впервые в..
Инновации ИИ в Африке.
Самые важные машины нашего поколения в настоящее время строятся, и в следующие десять лет или около того новая технологическая парадигма вступит в силу и, как обычно, оставит некоторые позади. Основным препятствием для этой новой технологии являются расходуемые ресурсы (деньги венчурного капитала), необходимые для обучения, которых нам не хватает, поскольку экономика частично финансируется за счет долга и не может экспериментировать. К счастью, на индивидуальном уровне у некоторых из..
Обучите свою собственную минимальную языковую модель GPT в Rust
Я должен сказать, что был чрезвычайно очарован мощью LLM после появления GitHub Co-pilot и ChatGPT от OpenAI. У меня всегда была эта забавная идея построить очень маленькую языковую модель, которая обучается на моих разговорах с моей девушкой, надеясь, что она сможет разговаривать с ней, когда меня нет, обманывая ее, что она разговаривает с настоящим мной. , хотя бы на несколько минут! Я пытался обучить некоторые модели, используя для этой цели существующее программное обеспечение,..
Все, что вам следует знать об оценке больших языковых моделей
Открытые языковые модели Все, что вам следует знать об оценке больших языковых моделей От недоумения к измерению общего интеллекта Поскольку языковые модели с открытым исходным кодом становятся все более доступными, потеряться во всех вариантах очень легко. Как мы можем определить их производительность и сравнить их? И как можно с уверенностью сказать, что одна модель лучше другой? В этой статье даются некоторые ответы, представляя показатели обучения и оценки, а также общие и..
Проинструктируйте о тонкой настройке Falcon 7B с помощью LoRA
Введение В последние годы обработка естественного языка (NLP) значительно продвинулась вперед благодаря мощным моделям больших языков, таким как Falcon 7B. Falcon 7B — это современный LLM, основанный на архитектуре Transformer ( https://huggingface.co/blog/falcon ). В то время как Falcon 7B предлагает впечатляющую готовую производительность, тонкая настройка инструкций позволяет вам создать свой собственный LLM с учетом контекста и знаний о ваших данных. В этой статье мы..
Подсказывать и подсказывать инженерию? — подробное введение
Подсказка и оперативная инженерия, безусловно, являются наиболее востребованными навыками в 2023 году. Быстрый рост LLM в области больших языковых моделей привел только к появлению этой новой дисциплины ИИ, называемой оперативной инженерией. В этом видео давайте кратко рассмотрим, что такое подсказки, что делают инженеры подсказок, а также различные элементы подсказок, с которыми работает инженер подсказок. Что такое подсказка? Подсказка — это просто ввод, который вы предоставляете..
RLHF + Модель вознаграждения + PPO на LLM
Цель Цель этого блога — глубокое погружение в концепции обучения с подкреплением с обратной связью с человеком, модель вознаграждения и подконцепции, которые работают под капотом моделей большого языка (LLM), таких как оптимизатор проксимальной политики (PPO). Затем мы проведем частичное пошаговое руководство по внедрению вашей персонализированной модели с помощью RLHF и вашей собственной модели вознаграждения. Затем я кратко остановлюсь на токсичности моделей и галлюцинациях, а также на..