понедельник, 9 февраля 2026 г.
Docker, Llama
https://www.opennet.ru/tips/3291_llama_build_ai.shtml
Докер - это хайпанутое говно, которому на десктопе место - только для отладки контейнеров, используемых в проде. А в проде ему в большинстве случаев не место совсем, он нужен по сути только когда нужно как можно быстрее развернуть вот именно вон ту конкретную конфигурацию, и в ней быстро отработать. Это даже в CI не совсем так: в CI вам не нужна конкретная конфигурация, там можно пакетами обойтись, и если пакетный менеджер не тормознутое говно вроде dpkg - то лучше выйдет намного. Что оставляет для докера в основном нишу горизонтального масштабирования, именно для которого его и придумали. В CI им затыкают тормознутости пакетного менеджера, но это не от хорошей жизни, а костыль.
Модели AI
DeepSeek R1
Мы используем локальные версии популярнейшей модели китайской ИИ, использование DeepSeek дает большую гибкость при развертывании благодаря гибкости в области дистилляции моделей. Благодаря чему мы можем проводить работу как с 70B версией и 671B версией.
Qwen3
Еще один китайский громкий игрок, который в большей степени известен более эффективными моделями серии coder. Предлагает конкурентное качество ответов при сниженом колличестве параметров благодаря архитектуре MoE в qwen3:235b
GPT-OSS
Новоиспеченная модель от openai, которая прославилась необычым уровнем квантизации - MXFP4. Рекомендуем ее установку только на устройствах с архитектурой не ниже Hooper.
llama4*
Уже классическая локальная модель от Meta*. Модель сочетает в себе лучшие мировые практики. Демонтсриует стабильность на системах с VRAM свыше 70GB. Бегущая строка: Мы в ней разместим много разные непопулярных ИИ моделей.