DeepSeekV3 vs Claude-Sonnet vs o1-Mini vs Gemini-ept-1206: Тестирование ИИ-ассистентов для программирования в реальных сценариях

В современном мире программирования с ИИ-ассистентами выбор подходящего помощника становится все более важным. Как давний пользователь таких ассистентов, я недавно провел интересный эксперимент, сравнив четыре основных ИИ-помощника в реальном проекте. Этот эксперимент не только дал мне более глубокое понимание каждой модели, но и выявил некоторые удивительные результаты.

Предыстория эксперимента: Реальная потребность в разработке

Во время рождественских праздников я начал разработку проекта умного домашнего ассистента, стремясь создать нечто лучшее, чем Google Home и Alexa. Одной из ключевых функций была реализация системы памяти ИИ — например, когда пользователь говорит «Мне не нравятся яйца, запомни это», система в будущем избегала бы рекомендовать рецепты с яйцами.

Для реализации этой функции мне нужно было разработать проект Azure Functions в качестве прокси, обрабатывающего взаимодействие данных с Azure Table Storage, и интегрировать его в существующее Blazor WASM приложение. Это на первый взгляд простое требование фактически затрагивало множество аспектов, включая создание проекта, облачное развертывание и расширение функциональности существующего проекта, что делало его идеальным для тестирования ИИ-ассистентов программирования.

Claude-Sonnet: Надежный Ветеран

Claude-Sonnet проявил себя как опытный старший инженер. На протяжении всего процесса разработки он демонстрировал исключительный контроль качества кода, автоматически обнаруживая и исправляя проблемы в коде, и даже интеллектуально предзаполняя URL-адреса инструментов после развертывания. Однако услуги этого «ветерана» обходятся недешево. В базовой версии API он достиг лимита уже после $0.2, вынудив переключиться на OpenRouter. Что еще более удивительно, стоимость через OpenRouter взлетела до $2.1, с некоторой деградацией производительности.

DeepSeekV3: Темная Лошадка

Производительность DeepSeekV3 была действительно впечатляющей. Я тестировал его как через OpenRouter, так и через официальный API, с разительно отличающимися результатами. Через OpenRouter он казался несколько неуклюжим, с дублированием кода и ограниченной функциональностью. Однако при использовании официального API это была похоже на совсем другую модель — качество кода почти на уровне Claude, плавная работа и уникальные подходы к решениям. Наиболее впечатляющим было его ценовое преимущество — выполнение всей задачи стоило всего $0.02. На этапе развертывания, хотя он выбрал более традиционный метод ручного развертывания через zip, он показал некоторые удивительные возможности, такие как автономный поиск ресурсов и построение строк подключения к хранилищу.

Gemini-ept-1206: Трудности роста Перспективного Новичка

Gemini ощущается как перспективный, но неопытный новичок. Он показал самое сильное взаимодействие среди всех моделей, активно спрашивая о версиях runtime и других деталях. Он преуспел в конфигурации развертывания, предвосхищая настройку переменных окружения. Однако он также показал некоторые «трудности роста»: медленная скорость обработки, часто требующая 20 минут для завершения задач; ограничения по токенам, часто требующие нескольких сессий; и самое frustrating, даже после 24 часов, его статистика стоимости оставалась непрозрачной, что делало невозможным точную оценку затрат на использование.

o1-Mini: Неоправданные Ожидания

Производительность o1-Mini была довольно разочаровывающей. Он начал хорошо, с плавной настройкой проекта и приемлемым начальным качеством кода. Но дальше все пошло под откос: медленное время ответа, частые неверные предположения (например, создание групп ресурсов в неправильных географических локациях) и неэффективное решение проблем. Потратив $2.2, он даже предложил понизить версию .NET для решения проблем, вынудив меня досрочно прекратить тест.

Практические выводы и рекомендации

Благодаря этому эксперименту я сделал некоторые практические выводы. Для индивидуальных разработчиков и небольших проектов DeepSeekV3, несомненно, является лучшим выбором, идеально балансируя качество кода и стоимость. Для тех, у кого достаточный бюджет, Claude-Sonnet остается надежным выбором для корпоративной разработки. Gemini подходит для сценариев, требующих детального интерактивного руководства, в то время как o1-Mini может найти свою нишу в специфических задачах оптимизации алгоритмов.

Стоит отметить, что использование этих моделей через OpenRouter часто влияет на их производительность, поэтому рекомендуется по возможности использовать официальные API. Кроме того, мы должны признать, что область ИИ-ассистентов программирования быстро развивается, и все модели непрерывно улучшают свои возможности. Конкурентный ландшафт может значительно измениться в будущем. Выбор подходящего ИИ-ассистента должен основываться на конкретных требованиях проекта, бюджетных ограничениях и сценариях разработки, а не на слепом следовании какому-либо конкретному варианту.