Streaming Chatbot

chatbot/agents/nodes/app_functions/optimize_select.py

@@ -60,19 +60,17 @@ def calculate_top_options(state: SwapState):
         try:
             loss, scale = calculate_score(item)
 
-            # Chỉ lấy những món có sai số chấp nhận được
-            if loss < 10.0:
-                item_score = item.copy()
-                item_score["optimization_loss"] = round(loss, 4)
-                item_score["portion_scale"] = round(scale, 2)
+            item_score = item.copy()
+            item_score["optimization_loss"] = round(loss, 4)
+            item_score["portion_scale"] = round(scale, 2)
 
-                # Tính chỉ số hiển thị sau khi scale
-                item_score["final_kcal"] = int(item["kcal"] * scale)
-                item_score["final_protein"] = int(item["protein"] * scale)
-                item_score["final_totalfat"] = int(item["totalfat"] * scale)
-                item_score["final_carbs"] = int(item["carbs"] * scale)
+            # Tính chỉ số hiển thị sau khi scale
+            item_score["final_kcal"] = int(item["kcal"] * scale)
+            item_score["final_protein"] = int(item["protein"] * scale)
+            item_score["final_totalfat"] = int(item["totalfat"] * scale)
+            item_score["final_carbs"] = int(item["carbs"] * scale)
 
-                scored_candidates.append(item_score)
+            scored_candidates.append(item_score)
         except Exception as e:
             logger.warning(f"Lỗi khi xử lý món {item.get('name', 'N/A')}: {e}")
             continue

chatbot/agents/nodes/chatbot/classify_topic.py

@@ -20,8 +20,10 @@ class Topic(BaseModel):
 
 def classify_topic(state: AgentState):
     print("---CLASSIFY TOPIC ---")
-
-    classifier_llm = llm.with_structured_output(Topic)
+    all_messages = state["messages"]
+    
+    question = all_messages[-1].content
+    history_messages = all_messages[:-1]
 
     system_msg = """
     Bạn là bộ điều hướng thông minh.
@@ -45,15 +47,20 @@ def classify_topic(state: AgentState):
 
     prompt = ChatPromptTemplate.from_messages([
         ("system", system_msg),
-        MessagesPlaceholder(variable_name="history"),
+        MessagesPlaceholder(variable_name="history"), # Bối cảnh chat
+        ("human", "{input}")                          # Câu hỏi MỚI CẦN PHÂN LOẠI
     ])
 
+    classifier_llm = llm.with_structured_output(Topic)
     chain = prompt | classifier_llm
 
     recent_messages = get_chat_history(state["messages"], max_tokens=500)
 
     try:
-        topic_result = chain.invoke({"history": recent_messages})
+        topic_result = chain.invoke({
+            "history": recent_messages, # Lịch sử chat (MessagesPlaceholder)
+            "input": question           # Câu hỏi mới (HumanMessage)
+        })
         topic_name = topic_result.name
     except Exception as e:
         print(f"⚠️ Lỗi phân loại: {e}")

chatbot/agents/nodes/chatbot/general_chat.py

@@ -1,19 +1,22 @@
 from chatbot.agents.states.state import AgentState
 from chatbot.models.llm_setup import llm
-from langchain.schema.messages import SystemMessage, HumanMessage
+from langchain.schema.messages import SystemMessage, HumanMessage, AIMessage
 from chatbot.utils.chat_history import get_chat_history
+from langchain_core.runnables import RunnableConfig
 import logging
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-def general_chat(state: AgentState):
+async def general_chat(state: AgentState, config: RunnableConfig):
     logger.info("---GENERAL CHAT---")
 
+    messages = state["messages"]
+    question = messages[-1].content
     history = get_chat_history(state["messages"], max_tokens=1000)
 
-    system_text = """
+    system_prompt = f"""
     Bạn là một chuyên gia dinh dưỡng và ẩm thực AI.
     Hãy trả lời các câu hỏi về:
     - món ăn, thành phần, dinh dưỡng, calo, protein, chất béo, carb,
@@ -21,18 +24,22 @@ def general_chat(state: AgentState):
     - sức khỏe, lối sống, chế độ tập luyện liên quan đến ăn uống.
     - chức năng, điều khoản, chính sách của ứng dụng.
 
+    Lịch sử hội thoại: {history}
+
     Quy tắc:
     - Không trả lời các câu hỏi ngoài chủ đề này (hãy từ chối lịch sự).
     - Giải thích ngắn gọn, tự nhiên, rõ ràng.
     - Dựa vào lịch sử trò chuyện để trả lời mạch lạc nếu có câu hỏi nối tiếp.
     """
 
-    messages_to_send = [SystemMessage(content=system_text)] + history
-    
     try:
-        response = llm.invoke(messages_to_send)
-        logger.info(f"🤖 AI Response: {response.content}")
+        response = await llm.ainvoke([
+            SystemMessage(content=system_prompt),
+            HumanMessage(content=question)
+        ], config=config)
+
         return {"messages": [response]}
+
     except Exception as e:
-        logger.info(f"⚠️ Lỗi General Chat: {e}")
-        return {"messages": []}
+        print(f"Lỗi LLM: {e}")
+        return {"messages": [AIMessage(content="Xin lỗi, có lỗi xảy ra.")]}

chatbot/agents/nodes/chatbot/generate_final_response.py

@@ -1,46 +1,99 @@
 from langchain_core.messages import AIMessage
 from chatbot.agents.states.state import AgentState
+from chatbot.models.llm_setup import llm
+from langchain_core.messages import SystemMessage, HumanMessage
+from langchain_core.runnables import RunnableConfig
 import logging
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-def generate_final_response(state: AgentState):
-    logger.info("---NODE: FINAL RESPONSE---")
+async def generate_final_response(state: AgentState, config: RunnableConfig):
+    print("---NODE: FINAL RESPONSE (FULL NUTRITION AI SUMMARY)---")
+
+    # 1. Lấy dữ liệu từ State
     menu = state.get("final_menu", [])
-    reason = state.get("reason", "")
     profile = state.get("user_profile", {})
-    
+
     if not menu:
         return {"messages": [AIMessage(content="Xin lỗi, tôi chưa thể tạo thực đơn lúc này.")]}
 
+    # 2. Chuẩn bị bối cảnh thực đơn chi tiết (Full Macros)
     meal_priority = {"sáng": 1, "trưa": 2, "tối": 3}
     sorted_menu = sorted(
         menu,
         key=lambda x: meal_priority.get(x.get('assigned_meal', '').lower(), 99)
     )
-    
-    output_text = "📋 **THỰC ĐƠN DINH DƯỠNG CÁ NHÂN HÓA**\n"
-    output_text += f"🎯 Mục tiêu: {int(profile.get('targetcalories', 0))} Kcal | {int(profile.get('protein', 0))}g Protein\n\n"
-    
-    current_meal = None
 
-    for dish in sorted_menu:
-        meal_name = dish.get('assigned_meal', 'Khác').upper()
+    # Tính toán tổng dinh dưỡng thực tế của cả thực đơn để gửi cho AI nhận xét
+    actual_total = {"kcal": 0, "p": 0, "f": 0, "c": 0}
+    menu_context = ""
 
-        if meal_name != current_meal:
-            current_meal = meal_name
-            output_text += f"🍽️ **BỮA {current_meal}**:\n"
+    for dish in sorted_menu:
+        # Lấy giá trị dinh dưỡng
+        k = dish.get('final_kcal', 0)
+        p = dish.get('final_protein', 0)
+        f = dish.get('final_totalfat', 0)
+        c = dish.get('final_carbs', 0)
+        
+        # Cộng dồn tổng
+        actual_total["kcal"] += k
+        actual_total["p"] += p
+        actual_total["f"] += f
+        actual_total["c"] += c
 
         scale = dish.get('portion_scale', 1.0)
-        scale_info = f" (x{scale} suất)" if scale != 1.0 else ""
+        scale_text = f" (x{scale} suất)" if scale != 1.0 else ""
+        
+        menu_context += (
+            f"- Bữa {dish.get('assigned_meal', '').upper()}: {dish['name']}{scale_text}\n"
+            f"  + Năng lượng: {k} Kcal\n"
+            f"  + Protein: {p}g | Lipid: {f}g | Carbs: {c}g\n\n"
+        )
+
+    # 3. Thiết lập System Prompt tập trung vào sự cân bằng chất
+    target_kcal = int(profile.get('targetcalories', 0))
+    target_p = int(profile.get('protein', 0))
+    # Ước tính mục tiêu F/C nếu app có lưu (giả định có trong profile)
+    target_f = int(profile.get('totalfat', 0))
+    target_c = int(profile.get('carbs', 0))
+
+    system_prompt = f"""
+Bạn là một Chuyên gia Dinh dưỡng AI. Hãy trình bày thực đơn và phân tích sâu về các chỉ số dinh dưỡng.
+
+DỮ LIỆU THỰC ĐƠN:
+{menu_context}
+
+TỔNG DINH DƯỠNG THỰC TẾ:
+- Tổng: {actual_total['kcal']} Kcal | {actual_total['p']}g P | {actual_total['f']}g F | {actual_total['c']}g C
+
+MỤC TIÊU CỦA NGƯỜI DÙNG:
+- Mục tiêu: {target_kcal} Kcal | {target_p}g P | {target_f}g F | {target_c}g C
+
+YÊU CẦU TRÌNH BÀY:
+1. Trình bày danh sách món ăn theo từng bữa (Sử dụng Markdown đẹp).
+2. Nhận xét chi tiết về 3 nhóm chất (Macros):
+    - Protein: Đủ để xây dựng cơ bắp chưa?
+    - Lipid (Chất béo): Có nằm trong ngưỡng lành mạnh không?
+    - Carbs (Bột đường): Có cung cấp đủ năng lượng cho hoạt động không?
+3. So sánh tổng thực tế với mục tiêu người dùng (Sai số bao nhiêu %).
+4. Đưa ra lời khuyên về cách phân bổ các chất này trong ngày.
+5. Tuyệt đối KHÔNG bịa đặt con số ngoài dữ liệu đã cho.
+6. Trả lời một cách ngắn gọn không dài dòng.
+"""
+    print(f"👉 Prompt: {system_prompt}")
 
-        output_text += f"   • **{dish['name']}**{scale_info}\n"
-        output_text += f"     └─ {dish['final_kcal']} Kcal | {dish['final_protein']}g Đạm | {dish['final_totalfat']}g Béo | {dish['final_carbs']}g Bột\n"
+    # 4. Gọi LLM Stream
+    try:
+        response = await llm.ainvoke([
+            SystemMessage(content=system_prompt),
+            HumanMessage(content="Hãy phân tích thực đơn đầy đủ các chất giúp tôi.")
+        ], config=config)
 
-    if reason:
-        output_text += f"\n💡 **Góc nhìn chuyên gia:**\n{reason}"
+        return {"messages": [response]}
 
-    return {"messages": [AIMessage(content=output_text)]}
+    except Exception as e:
+        print(f"Lỗi LLM: {e}")
+        return {"messages": [AIMessage(content="Xin lỗi, có lỗi xảy ra.")]}
     

chatbot/agents/nodes/chatbot/policy.py

@@ -2,13 +2,14 @@ from chatbot.agents.states.state import AgentState
 from langchain_core.messages import AIMessage, SystemMessage, HumanMessage
 from chatbot.models.llm_setup import llm
 from chatbot.agents.tools.info_app_retriever import policy_retriever
+from langchain_core.runnables import RunnableConfig
 import logging
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-def policy(state: AgentState):
+async def policy(state: AgentState, config: RunnableConfig):
     logger.info("---POLICY---")
     messages = state["messages"]
     question = messages[-1].content if messages else state.question
@@ -42,12 +43,13 @@ QUY TẮC AN TOÀN:
     logger.info(f"Prompt gửi đến LLM cho chính sách: {system_prompt}")
 
     try:
-        response = llm.invoke([
+        response = await llm.ainvoke([
             SystemMessage(content=system_prompt),
             HumanMessage(content=question)
-        ])
+        ], config=config)
 
         return {"messages": [response]}
 
     except Exception as e:
-        return {"messages": [AIMessage(content="Lỗi khi tạo câu trả lời.")]}
+        print(f"Lỗi LLM: {e}")
+        return {"messages": [AIMessage(content="Xin lỗi, có lỗi xảy ra.")]}

chatbot/agents/nodes/chatbot/select_food.py

@@ -1,13 +1,14 @@
 from chatbot.agents.states.state import AgentState
 from chatbot.models.llm_setup import llm
 from langchain_core.messages import AIMessage, SystemMessage, HumanMessage
+from langchain_core.runnables import RunnableConfig
 import logging
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-def select_food(state: AgentState):
+async def select_food(state: AgentState, config: RunnableConfig):
     print("---NODE: ANALYZE & ANSWER---")
 
     suggested_meals = state["suggested_meals"]
@@ -44,17 +45,15 @@ def select_food(state: AgentState):
 
     Lưu ý: Chỉ sử dụng thông tin từ danh sách cung cấp, không bịa đặt số liệu.
     """
-
+        
     try:
-        response = llm.invoke([
+        response = await llm.ainvoke([
             SystemMessage(content=system_prompt),
             HumanMessage(content=user_message)
-        ])
-
-        logger.info("💬 AI Response:", response.content)
+        ], config=config)
 
         return {"messages": [response]}
 
     except Exception as e:
-        logger.info(f"⚠️ Lỗi sinh câu trả lời: {e}")
-        return {"messages": [AIMessage(content="Đã xảy ra lỗi khi phân tích dữ liệu món ăn.")]}
+        print(f"Lỗi LLM: {e}")
+        return {"messages": [AIMessage(content="Xin lỗi, có lỗi xảy ra.")]}

chatbot/agents/nodes/chatbot/select_food_plan.py

@@ -1,13 +1,14 @@
 from chatbot.agents.states.state import AgentState
 from langchain_core.messages import AIMessage, SystemMessage, HumanMessage
 from chatbot.models.llm_setup import llm
+from langchain_core.runnables import RunnableConfig
 import logging
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-def select_food_plan(state: AgentState):
+async def select_food_plan(state: AgentState, config: RunnableConfig):
     logger.info("---SELECT FOOD PLAN---")
 
     user_profile = state.get("user_profile", {})
@@ -49,14 +50,13 @@ def select_food_plan(state: AgentState):
     """
     
     try:
-        response = llm.invoke([
+        response = await llm.ainvoke([
             SystemMessage(content=system_prompt),
             HumanMessage(content=user_message)
-        ])
+        ], config=config)
 
-        print("💬 AI Response:", response.content)
         return {"messages": [response]}
 
     except Exception as e:
-        print(f"⚠️ Lỗi sinh câu trả lời: {e}")
-        return {"messages": [AIMessage(content="Xin lỗi, đã có lỗi xảy ra khi xử lý thông tin món ăn.")]}
+        print(f"Lỗi LLM: {e}")
+        return {"messages": [AIMessage(content="Xin lỗi, có lỗi xảy ra.")]}

chatbot/main.py

@@ -11,16 +11,14 @@ app = FastAPI(
     version="1.0.0",
 )
 
-# Cho phép CORS để kết nối frontend
 app.add_middleware(
     CORSMiddleware,
-    allow_origins=["*"],  # ⚠️ đổi sau nếu cần bảo mật
+    allow_origins=["*"],
     allow_credentials=True,
     allow_methods=["*"],
     allow_headers=["*"],
 )
 
-# Đăng ký route
 app.include_router(chat_router)
 app.include_router(meal_plan_router)
 app.include_router(food_replace_router)

chatbot/models/llm_setup.py

@@ -1,4 +1,5 @@
 from langchain_deepseek import ChatDeepSeek
+from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
 from chatbot.config import DEEPSEEK_API_KEY
 
 if not DEEPSEEK_API_KEY:
@@ -12,6 +13,14 @@ llm = ChatDeepSeek(
     max_retries=2,
 )
 
+llm_stream = ChatDeepSeek(
+    model="deepseek-chat",
+    temperature=0.3,
+    max_tokens=2048,
+    streaming=True,
+    callbacks=[StreamingStdOutCallbackHandler()],
+)
+
 def get_llm(model_name: str = "deepseek-chat", temperature: float = 0.3):
     return ChatDeepSeek(
         model=model_name,

chatbot/routes/chat_router.py

@@ -1,14 +1,17 @@
-from fastapi import APIRouter, HTTPException
+from fastapi import APIRouter
+from fastapi.responses import StreamingResponse
 from pydantic import BaseModel
 from langchain_core.messages import HumanMessage
 from chatbot.agents.graphs.chatbot_graph import workflow_chatbot
 import logging
+import json
+from chatbot.models.llm_setup import llm_stream
 
 # --- Cấu hình logging ---
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-# --- Định nghĩa request body ---
+# # --- Định nghĩa request body ---
 class ChatRequest(BaseModel):
     user_id: str
     thread_id: str
@@ -22,32 +25,36 @@ router = APIRouter(
 
 try:
     chatbot_app = workflow_chatbot()
+    logger.info("✅ Chatbot Graph compiled successfully!")
 except Exception as e:
     logger.error(f"❌ Failed to compile Chatbot Graph: {e}")
     raise e
 
-# --- Route xử lý chat ---
-@router.post("/")
-def chat(request: ChatRequest):
-    try:
-        logger.info(f"Nhận được tin nhắn chat từ user: {request.user_id}")
-        config = {"configurable": {"thread_id": request.thread_id}}
-
-        initial_state = {
-            "user_id": request.user_id,
-            "messages": [HumanMessage(content=request.message)]
-        }
-
-        final_state = chatbot_app.invoke(initial_state, config=config)
+async def generate_chat_response(initial_state, config):
+    async for event in chatbot_app.astream_events(
+        initial_state, 
+        config=config, 
+        version="v2" 
+    ):
+        if event["event"] == "on_chat_model_stream":
+            
+            data = event.get("data", {})
+            chunk = data.get("chunk")
+            
+            if chunk and hasattr(chunk, "content") and chunk.content:
+                yield chunk.content
 
-        messages = final_state.get("messages", [])
-        if messages and len(messages) > 0:
-            response_content = messages[-1].content
-        else:
-            response_content = "Không có kết quả trả về."
-
-        return {"response": response_content}
-
-    except Exception as e:
-        logger.error(f"Lỗi chatbot: {e}", exc_info=True)
-        raise HTTPException(status_code=500, detail=f"Lỗi chatbot: {str(e)}")
+@router.post("/")
+async def chat(request: ChatRequest):
+    logger.info(f"Nhận được tin nhắn chat từ user: {request.user_id}")
+    config = {"configurable": {"thread_id": request.thread_id}}
+
+    initial_state = {
+        "user_id": request.user_id,
+        "messages": [HumanMessage(content=request.message)]
+    }
+    
+    return StreamingResponse(
+        generate_chat_response(initial_state, config), 
+        media_type="text/plain"
+    )