Современные языковые модели можно использовать не только через внешние сервисы, но и запускать непосредственно на собственных компьютерах и серверах. Это позволяет работать с локальными данными, контролировать инфраструктуру и выбирать модели под конкретные задачи и требования.
При этом локальные модели заметно различаются по архитектуре, размеру, качеству и требованиям к оборудованию. Рейтинги и бенчмарки также не всегда дают однозначный ответ на вопрос, какая модель лучше подходит для конкретной задачи.

На вебинаре мы разобрали основные характеристики локальных нейросетей, принципы инференса и квантования, особенности популярных моделей и подходы к их сравнению. Отдельно рассмотрели, как выбрать модель с учётом задач и имеющегося оборудования.

План:
1. Локальные нейросети: зачем и когда они нужны.
2. Чем отличаются современные модели: размер, архитектура, контекст, специализация.
3. Что влияет на требования к компьютеру и скорость работы.
4. Основные семейства локальных моделей и их особенности.
5. Рейтинги и бенчмарки: как сравнивать модели.
6. Как выбрать модель под свои задачи.