DeepSeekV3 vs Claude-Sonnet vs o1-Mini vs Gemini-ept-1206: Asistentes de IA para Programación Evaluados en Escenarios Reales

En el mundo actual de la programación asistida por IA, elegir el asistente de IA adecuado se ha vuelto cada vez más importante. Como usuario desde hace mucho tiempo de asistentes de IA para programación, recientemente realicé un experimento interesante comparando cuatro asistentes de IA principales en un proyecto real. Este experimento no solo me dio una comprensión más profunda de cada modelo, sino que también reveló algunos resultados sorprendentes.

Antecedentes del Experimento: Una Necesidad Real de Desarrollo

Durante las vacaciones de Navidad, comencé a desarrollar un proyecto de asistente doméstico más inteligente, con el objetivo de crear algo mejor que Google Home and Alexa. Una de las características clave era implementar un sistema de memoria de IA; por ejemplo, cuando un usuario dice "No me gustan los huevos, recuérdalo", el sistema evitaría recomendar recetas con huevos en el futuro.

Para implementar esta función, necesitaba desarrollar un proyecto de Azure Functions como proxy, manejando interacciones de datos con Azure Table Storage, e integrarlo en una aplicación existente de Blazor WASM. Este requisito aparentemente simple en realidad involucraba múltiples aspectos, incluida la creación del proyecto, la implementación en la nube y la expansión de funciones del proyecto existente, lo que lo hacía perfecto para probar asistentes de IA para programación.

Claude-Sonnet: El Veterano Confiable

Claude-Sonnet se desempeñó como un ingeniero senior experimentado. A lo largo del proceso de desarrollo, demostró un control excepcional de la calidad del código, detectando y corrigiendo automáticamente problemas en el código, e incluso completando inteligentemente URLs de herramientas después de la implementación. Sin embargo, los servicios de este "veterano" no son baratos. En la versión básica de la API, alcanzó el límite después de solo $0.2, forzando un cambio a OpenRouter. Más sorprendentemente, el costo a través de OpenRouter se disparó a $2.1, con cierta degradación del rendimiento.

DeepSeekV3: El Caballo Negro

El rendimiento de DeepSeekV3 fue realmente impresionante. Lo probé tanto a través de OpenRouter como de la API oficial, con resultados notablemente diferentes. A través de OpenRouter, parecía algo torpe, con duplicación de código y funcionalidad limitada. Sin embargo, al usar la API oficial, era como un modelo completamente diferente: la calidad del código casi igualaba a la de Claude, operación fluida y enfoques de solución únicos. Lo más impresionante fue su ventaja de precio, completando toda la tarea por solo $0.02. En la fase de implementación, aunque eligió un método más tradicional de implementación manual por zip, mostró algunas capacidades sorprendentes, como encontrar recursos de forma autónoma y construir cadenas de conexión de almacenamiento.

Gemini-ept-1206: Dificultades de Crecimiento de un Recién Llegado Prometedor

Gemini se siente como un recién llegado prometedor pero inexperto. Mostró la interacción más fuerte entre todos los modelos, preguntando proactivamente sobre versiones de runtime y otros detalles. Sobresalió en la configuración de implementación, anticipando la configuración de variables de entorno. Sin embargo, también mostró algunas "dificultades de crecimiento": velocidad de procesamiento lenta, a menudo tomando 20 minutos para completar tareas; limitaciones de tokens, requiriendo frecuentemente múltiples sesiones; y lo más frustrante, incluso después de 24 horas, sus estadísticas de costo permanecieron opacas, haciendo imposible evaluar con precisión los costos de uso.

o1-Mini: Promesas Incumplidas

El rendimiento de o1-Mini fue bastante decepcionante. Comenzó bien, con una configuración de proyecto fluida y una calidad de código inicial aceptable. Pero las cosas empeoraron a partir de ahí: tiempos de respuesta lentos, suposiciones incorrectas frecuentes (como crear grupos de recursos en ubicaciones geográficas incorrectas) y resolución de problemas ineficiente. Después de gastar $2.2, incluso sugirió degradar la versión de .NET para resolver problemas, forzándome a terminar la prueba tempranamente.

Conclusiones Prácticas y Recomendaciones

A través de este experimento, he sacado algunas conclusiones prácticas. Para desarrolladores individuales y proyectos pequeños, DeepSeekV3 es sin duda la mejor opción, equilibrando perfectamente la calidad del código y el costo. Para aquellos con presupuesto suficiente, Claude-Sonnet sigue siendo una opción confiable para el desarrollo a nivel empresarial. Gemini se adapta a escenarios que requieren orientación interactiva detallada, mientras que o1-Mini podría encontrar su nicho en problemas específicos de optimización de algoritmos.

Vale la pena señalar que usar estos modelos a través de OpenRouter a menudo afecta su rendimiento, por lo que se recomienda usar APIs oficiales cuando sea posible. Además, debemos reconocer que el campo de los asistentes de IA para programación está evolucionando rápidamente, con todos los modelos mejorando continuamente sus capacidades. El panorama competitivo podría cambiar significativamente en el futuro. Elegir el asistente de IA adecuado debe basarse en requisitos específicos del proyecto, restricciones presupuestarias y escenarios de desarrollo, en lugar de seguir ciegamente cualquier opción particular.