Router de intenci贸n del chatbot de CAB (mDeBERTa-v3 ajustado)
Prototipo acad茅mico (Maestr铆a en Inteligencia Artificial, Tecmilenio). Clasifica el mensaje de un cliente B2B de Componentes Automotrices del Baj铆o (empresa ficticia) en cinco intenciones para decidir si el chatbot responde solo o pasa la conversaci贸n a un ejecutivo.
| Intenci贸n | Acci贸n del chatbot |
|---|---|
| estatus_orden | Respuesta autom谩tica con el estatus de SAP (simulado) |
| fecha_entrega | Respuesta autom谩tica con el modelo de ETA |
| queja | Escalar a un ejecutivo |
| contactar_ejecutivo | Escalar a un ejecutivo |
| otro | Canalizar al 谩rea correspondiente |
Datos y entrenamiento
- Datos:
data-v3.0.0: muestra de Bitext (CDLA-Sharing-1.0) + mensajes simulados de CAB en espa帽ol e ingl茅s. - Commit de entrenamiento:
082d216dab11ca738add440bfd7b9d4ee45bab64(谩rbol limpio: True). - Hiperpar谩metros: {"lr": 2e-05, "lote": 8, "epocas": 3, "weight_decay": 0.01, "label_smoothing": 0.1, "semilla": 42}.
- Calibraci贸n: temperatura 0.5902; umbral de confianza 0.9 (si la confianza es menor, se pregunta o se escala).
Resultados
| Conjunto | Accuracy | F1 macro | Respondidas en autom谩tico | Autom谩ticas err贸neas |
|---|---|---|---|---|
| Prueba (data-v3.0.0, 400 mensajes) | 0.993 | 0.992 | 0.403 | 3 |
| Prueba externa escrita a mano (160 mensajes) | 0.964 | 0.965 | 0.412 | 6 |
Accuracy de la prueba externa por idioma: en: 0.975, es: 0.956, mix: 1.000. Latencia en CPU: mediana 67.1 ms.
Limitaciones
Los mensajes de CAB son simulados y la prueba externa la escribi贸 el autor; los resultados deben
confirmarse con conversaciones reales en el piloto. Los pesos se guardan en 16 bits; para usarlos en
CPU se cargan en 32 bits (dtype=torch.float32). El archivo config_cab.json contiene la temperatura,
el umbral y las versiones de datos y c贸digo.
Uso
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
tok = AutoTokenizer.from_pretrained("gagarang/router-intencion-cab-mdeberta", revision="model-v1.0.0")
model = AutoModelForSequenceClassification.from_pretrained("gagarang/router-intencion-cab-mdeberta", revision="model-v1.0.0", dtype=torch.float32)
- Downloads last month
- 43
Model tree for gagarang/router-intencion-cab-mdeberta
Base model
MoritzLaurer/mDeBERTa-v3-base-mnli-xnli