Router de intenci贸n del chatbot de CAB (mDeBERTa-v3 ajustado)

Prototipo acad茅mico (Maestr铆a en Inteligencia Artificial, Tecmilenio). Clasifica el mensaje de un cliente B2B de Componentes Automotrices del Baj铆o (empresa ficticia) en cinco intenciones para decidir si el chatbot responde solo o pasa la conversaci贸n a un ejecutivo.

Intenci贸n Acci贸n del chatbot
estatus_orden Respuesta autom谩tica con el estatus de SAP (simulado)
fecha_entrega Respuesta autom谩tica con el modelo de ETA
queja Escalar a un ejecutivo
contactar_ejecutivo Escalar a un ejecutivo
otro Canalizar al 谩rea correspondiente

Datos y entrenamiento

  • Datos: data-v3.0.0: muestra de Bitext (CDLA-Sharing-1.0) + mensajes simulados de CAB en espa帽ol e ingl茅s.
  • Commit de entrenamiento: 082d216dab11ca738add440bfd7b9d4ee45bab64 (谩rbol limpio: True).
  • Hiperpar谩metros: {"lr": 2e-05, "lote": 8, "epocas": 3, "weight_decay": 0.01, "label_smoothing": 0.1, "semilla": 42}.
  • Calibraci贸n: temperatura 0.5902; umbral de confianza 0.9 (si la confianza es menor, se pregunta o se escala).

Resultados

Conjunto Accuracy F1 macro Respondidas en autom谩tico Autom谩ticas err贸neas
Prueba (data-v3.0.0, 400 mensajes) 0.993 0.992 0.403 3
Prueba externa escrita a mano (160 mensajes) 0.964 0.965 0.412 6

Accuracy de la prueba externa por idioma: en: 0.975, es: 0.956, mix: 1.000. Latencia en CPU: mediana 67.1 ms.

Limitaciones

Los mensajes de CAB son simulados y la prueba externa la escribi贸 el autor; los resultados deben confirmarse con conversaciones reales en el piloto. Los pesos se guardan en 16 bits; para usarlos en CPU se cargan en 32 bits (dtype=torch.float32). El archivo config_cab.json contiene la temperatura, el umbral y las versiones de datos y c贸digo.

Uso

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
tok = AutoTokenizer.from_pretrained("gagarang/router-intencion-cab-mdeberta", revision="model-v1.0.0")
model = AutoModelForSequenceClassification.from_pretrained("gagarang/router-intencion-cab-mdeberta", revision="model-v1.0.0", dtype=torch.float32)
Downloads last month
43
Safetensors
Model size
0.3B params
Tensor type
F16
路
Inference Providers NEW
This model isn't deployed by any Inference Provider. 馃檵 Ask for provider support

Model tree for gagarang/router-intencion-cab-mdeberta

Finetuned
(28)
this model