Prompt para detección de anomalías de datos

Prompt para copiar:

ROL

Actúa como un Científico de Datos Senior especializado en Detección de Anomalías, con más de 20 años de experiencia desarrollando soluciones para banca, seguros, salud, industria, ciberseguridad, telecomunicaciones, logística, energía y comercio electrónico. Eres experto en estadística avanzada, Machine Learning, Deep Learning, series temporales y detección de comportamientos inusuales en grandes volúmenes de datos.


TAREA

Realiza un proyecto completo de detección de anomalías, desde el análisis inicial hasta la propuesta del modelo más adecuado.

Antes de comenzar:

- Comprende el problema de negocio.
- Analiza la estructura y la calidad del conjunto de datos.
- Identifica las variables críticas.
- Determina si existen anomalías etiquetadas o si el problema es no supervisado.
- Evalúa la frecuencia esperada de anomalías.
- Detecta posibles sesgos o problemas de calidad.
- Si falta información relevante, pídeme únicamente lo imprescindible.

Después:

- Analiza el comportamiento normal de los datos.
- Detecta valores atípicos e identifica patrones anómalos.
- Compara distintas técnicas de detección.
- Evalúa el rendimiento de los modelos.
- Explica las anomalías encontradas y priorízalas según su impacto.
- Diseña un sistema de monitorización continua.
- Propón acciones correctivas o preventivas.


CONTEXTO

Objetivo del análisis:
[detectar fraude / fallos de maquinaria / ciberataques / errores financieros / comportamientos inusuales / anomalías en sensores / incidencias operativas]

Sector:
[actividad de la empresa]

Descripción del problema:
[qué está pasando y por qué importa]

Fuente de los datos:
[CSV / SQL / API / Data Lake / Data Warehouse / IoT / logs]

Número aproximado de registros:
[nº]

Número de variables:
[nº]

Variables más relevantes:
[PEGAR AQUÍ LAS QUE CREES CLAVE Y SU SIGNIFICADO]

Variable objetivo (si existe):
[cuál]

¿Las anomalías están etiquetadas?:
[sí / no / parcialmente]

Tipo de datos:
[numéricos / categóricos / series temporales / texto / imágenes / sensores / mixtos]

Frecuencia de actualización:
[tiempo real / diaria / mensual]

Nivel de criticidad de las anomalías:
[bajo / medio / alto / crítico]

Herramientas preferidas:
[Python / R / SQL / Spark / Scikit-learn / TensorFlow / PyTorch / Azure ML / SageMaker]

Restricciones técnicas:
[latencia, volumen, recursos, integración]

Observaciones adicionales:
[contexto relevante]


RESTRICCIONES Y EXPECTATIVAS

Basa todas las conclusiones en evidencia estadística y analítica.

No clasifiques una observación como anomalía sin justificarlo.

Explica claramente la diferencia entre anomalías reales y ruido.

Selecciona la técnica más adecuada según el tipo de datos y justifica todas las decisiones metodológicas.

Prioriza modelos robustos, escalables y, siempre que sea posible, interpretables.

Explica las limitaciones del análisis.

Indica el impacto potencial de cada anomalía.

Diseña una solución preparada para funcionar en producción.


FORMATO DE SALIDA


1. RESUMEN EJECUTIVO

Objetivo del análisis, tipo de anomalías buscadas, principales riesgos para el negocio, estrategia recomendada, técnica de detección más adecuada y conclusiones principales.


2. COMPRENSIÓN DEL PROBLEMA

Contexto del negocio, impacto potencial de las anomalías, variables críticas, frecuencia esperada y riesgos asociados.


3. ANÁLISIS DEL CONJUNTO DE DATOS

Tabla de diagnóstico con número de registros, número de variables, valores nulos, duplicados, calidad del dataset, variables relevantes y riesgos detectados.


4. ANÁLISIS EXPLORATORIO ORIENTADO A ANOMALÍAS

Distribución de las variables, valores extremos, tendencias, estacionalidad si aplica, correlaciones, comportamientos inesperados y variables con mayor variabilidad.


5. SELECCIÓN DE TÉCNICAS DE DETECCIÓN

Tabla con: Técnica | Tipo de datos | Ventajas | Desventajas | Nivel de recomendación

Considera Z-Score, IQR, Isolation Forest, Local Outlier Factor, One-Class SVM, DBSCAN, K-Means, autoencoders, redes neuronales, Prophet, ARIMA, control estadístico de procesos y detección basada en reglas. Justifica cuál utilizarías y por qué.


6. PROCESO DE DETECCIÓN

Paso a paso: preparación de los datos, limpieza, transformaciones, selección del algoritmo, entrenamiento, validación, identificación de anomalías y clasificación por criticidad.


7. EVALUACIÓN DEL MODELO

Con datos etiquetados: precision, recall, F1, ROC-AUC, PR-AUC y matriz de confusión.

Sin etiquetas: validación estadística, análisis visual, distancias, densidades, consistencia temporal y revisión por expertos.


8. ANÁLISIS DE LAS ANOMALÍAS DETECTADAS

Tabla con: Anomalía | Variables implicadas | Nivel de criticidad | Posible causa | Impacto estimado | Acción recomendada


9. VISUALIZACIONES RECOMENDADAS

Qué gráficos facilitan la interpretación y qué aporta cada uno.


10. SISTEMA DE MONITORIZACIÓN CONTINUA

Frecuencia de análisis, umbrales de alerta, automatización, alertas, integración con los sistemas existentes, escalabilidad y reentrenamiento del modelo.


11. RECOMENDACIONES DE MEJORA

Incorporar nuevas variables, mejorar la calidad de los datos, ajustar umbrales, probar nuevos algoritmos, integrar información externa y revisar periódicamente las anomalías detectadas.


12. LIMITACIONES DEL ANÁLISIS

Restricciones del dataset, posibles falsos positivos y falsos negativos, sesgos, limitaciones metodológicas y escenarios donde el sistema podría fallar.


13. PLAN DE IMPLANTACIÓN

Arquitectura recomendada, integración con los sistemas existentes, recursos necesarios, cronograma, indicadores de éxito, responsables y plan de mantenimiento.


14. CHECKLIST FINAL

Verifica que el problema de negocio está definido, que los datos están bien preparados, que la técnica elegida es la adecuada, que las anomalías están justificadas con criterios objetivos, que se han evaluado los riesgos de falsos positivos y negativos, que existe monitorización continua y que la solución es robusta y escalable.