import json
from flask import Flask, request, jsonify
from flask_cors import CORS
from flask_sqlalchemy import SQLAlchemy
from rank_bm25 import BM25Okapi
import pysolr
import numpy as np
import py_vncorenlp
from string import punctuation
import requests
import torch.nn.functional as F
from sklearn.cluster import KMeans
from underthesea import sent_tokenize
from transformers import (
    AutoTokenizer,
    Pipeline,
    pipeline,
    AutoModelForTokenClassification,
    AutoModel,
)
import os
import torch
import torch.nn as nn
from sqlalchemy import CHAR, Column, Integer, String, create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

app = Flask(__name__)


# app.config["SQLALCHEMY_DATABASE_URI"] = (
#     "postgresql://admin:123456@demo-postgres-1:5432/cst_db"
# )
app.config["SQLALCHEMY_DATABASE_URI"] = (
    "postgresql://admin:123456@103.98.161.94:5432/cst_db"
)
app.config["SQLALCHEMY_TRACK_MODIFICATIONS"] = False
# cors = CORS(
#     app,
#     # resources={
#     #     r"/*": {"origins": ["http://localhost:3000", "http://192.168.100.122:3001"]}
#     # },
# )

cors = CORS(
    app,
    resources={
        r"/*": {
            "origins": [
                "http://localhost:3000",
                "http://demo-ui-1:3000",
                "http://demo-ui-1:3001",
                "http://103.98.161.94:3001",
                "http://172.18.0.2:3000",
            ]
        }
    },
)


db = SQLAlchemy(app)


Base = declarative_base()


class Cst(db.Model):
    __tablename__ = "cst"

    # id = Column(Integer, primary_key=True)
    macase = Column(String, primary_key=True)
    matruong = Column(String, nullable=True)
    ngaynhan = Column(String, nullable=True)
    chitietyc = Column(String, nullable=True)
    trangthai = Column(String, nullable=True)
    ngaydukien = Column(String, nullable=True)
    loaihopdong = Column(String, nullable=True)
    mucdo = Column(String, nullable=True)
    version = Column(String, nullable=True)
    hieuluc = Column(String, nullable=True)
    dabangiao = Column(CHAR, nullable=True)
    ngayemail = Column(String, nullable=True)
    mailto = Column(String, nullable=True)
    loaicase = Column(String, nullable=True)
    phanhe = Column(String, nullable=True)
    whatnew = Column(String, nullable=True)
    teststate = Column(String, nullable=True)
    thongtinkh = Column(String, nullable=True)
    dapungcongty = Column(String, nullable=True)
    comment = Column(String, nullable=True)
    reviewcase = Column(String, nullable=True)


## BM25:


def init():
    question_documents = []
    sum_documents = []
    q_corpus = []
    c_corpus = []
    with open("./data/cst_new.jsonl", "r", encoding="utf-8") as read:
        for line in read:
            objz = json.loads(line)
            q_corpus.append(objz["thongtinkh"])
            c_corpus.append(objz["chitietyc"])
            q_document = {
                "id": objz["id"],
                "title": objz["chitietyc"],
                "content": f"{objz['thongtinkh']}",
                "matruong": objz["matruong"],
                "phanhe": objz["phanhe"],
                "macase": objz["macase"],
            }
            question_documents.append(q_document)

            c_document = {
                "id": objz["id"],
                "title": objz["chitietyc"],
                "content": f"{objz['chitietyc']}",
                "matruong": objz["matruong"],
                "phanhe": objz["phanhe"],
                "macase": objz["macase"],
            }
            sum_documents.append(c_document)
    q_tokenized_corpus = [doc.split(" ") for doc in q_corpus]
    c_tokenized_corpus = [doc.split(" ") for doc in c_corpus]
    q_bm25 = BM25Okapi(q_tokenized_corpus)
    c_bm25 = BM25Okapi(c_tokenized_corpus)
    return q_bm25, c_bm25


def bm25(query, q_bm25, c_bm25, q_corpus, c_corpus, matruong="", phanhe=""):
    if query == "" or query == None:
        return
    tokenized_query = query.split(" ")
    q_doc_scores = q_bm25.get_scores(tokenized_query)
    q_results = q_bm25.get_top_n(tokenized_query, q_corpus, n=2)

    tokenized_query = query.split(" ")
    c_doc_scores = c_bm25.get_scores(tokenized_query)
    s_results = c_bm25.get_top_n(tokenized_query, c_corpus, n=2)
    return {
        "question_results": [result for result in q_results],
        "sum_results": [result for result in s_results],
    }


# def extract(query):
#     inp = {"title": "", "text": query}
#     if isCalled == False:
#         kw_pipeline = KeywordExtractorPipeline(phobert, ner_model)
#         isCalled = True

#     kws = kw_pipeline(
#         inputs=inp, min_freq=1, ngram_n=(1, 3), top_n=10, diversify_result=False
#     )
#     return kws


@app.route("/api/search", methods=["POST"])
def search():
    query = request.json.get("query")
    matruong = request.json.get("matruong")
    phanhe = request.json.get("phanhe")

    # kws = extract(query)
    # inp = {"title": "", "text": query}
    # kw_pipeline = KeywordExtractorPipeline(phobert, ner_model, device="cuda:0")

    # kws = kw_pipeline(
    #     inputs=inp, min_freq=1, ngram_n=(1, 5), top_n=3, diversify_result=False
    # )

    symnonym_prompt = "Bạn là trợ lý nghiên cứu AI có khả năng phân tích và tổng hợp thông tin chuyên sâu từ các nguồn đáng tin cậy. Khi được đưa ra một câu hỏi, hãy xác định thành phần quan trọng nhất trong câu hỏi của người dùng. Sau đó, hãy đưa 3 cụm từ đồng nghĩa, sát nghĩa nhất với thành phần quan trọng trong câu hỏi. Định dạng của câu trả lời nên là: {'<context>': <thành phần quan trọng nhất trong câu hỏi>, '<Word1>':<Từ đồng nghĩa thứ 1>, '<Word2>':<Từ đồng nghĩa thứ 2>, '<Word3>':<Từ đồng nghĩa thứ 3>}\nVí dụ: Câu hỏi của người dùng là: Có một trường hợp bị sai phương thức trong phiếu đăng ký xét tuyển\nCâu trả lời của bạn: {'context': 'Sai phương thức trong phiếu đăng ký xét tuyển', 'Word1': 'Lỗi phương thức trong đăng ký xét tuyển', 'Word2':'sai cách làm trong phiếu đăng ký xét tuyển', 'Word3': 'Sai phương thức trong văn bản đăng ký xét tuyển'}\nHướng dẫn quan trọng:\n- Dựa các phản hồi trên dữ liệu thực tế, không phải suy đoán.\n- Nếu thông tin không đủ, hãy nêu ra khoảng cách kiến thức thay vì đưa ra giả định.\n- Nếu câu hỏi mơ hồ hoặc quá rộng, hãy tìm kiếm sự làm rõ trước khi trả lời\nCâu hỏi của người dùng: "
    symnonym_prompt += query
    symnonym_prompt += "\nCâu trả lời của bạn:"

    response = requests.post(
        "http://103.98.161.94:6869/gemma_generate",
        # "http://demo-gemma-1:8080/gemma_generate",
        json={"prompt": symnonym_prompt},
        headers={"Content-Type": "application/json"},
    )
    content = response.content.decode("utf-8")
    content = content.split("<start_of_turn>model")[1].split("<end_of_turn>")[0]

    content_obj = json.loads(content.replace("'", '"'))
    kws = []
    kws.append(content_obj["Word1"])
    kws.append(content_obj["Word2"])
    kws.append(content_obj["Word3"])

    results = []
    questions = []
    answers = []
    sums_ = []
    results.append(bm25(query, matruong=matruong, phanhe=phanhe))
    results.append(bm25(content_obj["context"], matruong=matruong, phanhe=phanhe))
    for item in kws:
        results.append(bm25(query=item[0], matruong=matruong, phanhe=phanhe))
    for res in results:
        if res["question_results"] != []:
            questions.append(res["question_results"])
        if res["sum_results"] != []:
            sums_.append(res["sum_results"])
    cst_cases = []
    for question in questions:
        for q in question:
            if q != "":
                cst_case = Cst.query.filter_by(
                    thongtinkh=q, matruong=matruong
                ).first_or_404()
                cst_cases.append(
                    {
                        "macase": cst_case.macase,
                        "chitietyc": cst_case.chitietyc,
                        "thongtinkh": cst_case.thongtinkh,
                        "dapungcongty": cst_case.dapungcongty,
                        "matruong": cst_case.matruong,
                        "phanhe": cst_case.phanhe,
                    }
                )

    for sum_ in sums_:
        for s in sum_:
            if s != "":
                cst_case = Cst.query.filter_by(
                    chitietyc=s, matruong=matruong
                ).first_or_404()
                cst_cases.append(
                    {
                        "macase": cst_case.macase,
                        "chitietyc": cst_case.chitietyc,
                        "thongtinkh": cst_case.thongtinkh,
                        "dapungcongty": cst_case.dapungcongty,
                        "matruong": cst_case.matruong,
                        "phanhe": cst_case.phanhe,
                    }
                )

    def remove_duplicate(my_list):
        unique_list = []
        seen_ids = set()
        for item in my_list:
            if item["macase"] not in seen_ids:
                unique_list.append(item)
                seen_ids.add(item["macase"])
        return unique_list

    cst_cases = remove_duplicate(cst_cases)
    generate_prompt = """
Mục tiêu:
Bạn là trợ lý nghiên cứu AI có khả năng phân tích và tổng hợp thông tin chuyên sâu từ các nguồn thông tin đã được cho dưới đây. Khi được đưa ra một câu hỏi, hãy làm theo quy trình có cấu trúc này:
Quy trình trả lời câu hỏi:
    - Hiểu rõ câu hỏi.
    - Phân tích và hiểu các thông tin đã được cho. Số lượng thông tin có thể lên đến 50 cases. Nên hãy đọc và hiểu rõ thông tin đã được cho.
    - Trả lời câu hỏi một cách ngắn gọn và chính xác   
Cấu trúc thông tin được cho:
    - Thông tin bạn được cho sẽ bao gồm những thông tin như: Mã case, Thông tin từ khách hàng, Đáp ứng từ công ty, Tóm tắt của case.
Lưu ý quan trọng:    
    - Hãy trả lời một cách ngắn gọn
    - Hãy chỉ ra bạn dùng thông tin có mã case nào để trả lời câu hỏi
    - Không được suy diễn. Nếu bạn không trả lời được câu hỏi dựa vào thông tin được cho, hãy trả lời bạn không biết dưa trên thông tin đã cho.
Bây giờ hãy dùng những thông tin trên để trả lời câu hỏi:
{context}
Những văn bản liên quan: <phân tích thông tin từ văn bản liên quan ở đây>
Câu hỏi của người dùng: {query}
Câu trả lời của bạn:
"""
    context_window = ""
    for index, item in enumerate(cst_cases):
        case_prompt = """
Thông tin {index}:
Mã case: #{macase}
Tóm tắt của case:
{chitietyc}
Thông tin từ khách hàng: 
{thongtinkh}
Đáp ứng từ công ty: 
{dapungcongty}

"""
        case_prompt = case_prompt.format(
            index=index,
            chitietyc=item["chitietyc"],
            thongtinkh=item["thongtinkh"],
            dapungcongty=item["dapungcongty"],
            macase=item["macase"],
        )
        context_window += case_prompt
    generate_prompt = generate_prompt.format(context=context_window, query=query)

    return (
        jsonify({"prompt": generate_prompt, "cases": cst_cases}),
        200,
    )


@app.route("/api/prompting", methods=["POST"])
def prompting():
    matruong = request.json.get("matruong")
    csts = Cst.query.filter_by(matruong=matruong).all()
    cc = []
    for c in csts:
        cc.append({"macase": c.macase})
    return jsonify({"item": cc})


@app.route("/api/ranking", methods=["POST"])
def ranking():
    query = request.json.get("query")
    matruong = request.json.get("matruong")

    print(query)
    print(matruong)

    csts = Cst.query.filter(Cst.matruong.ilike(f"%{matruong}%")).all()
    q_corpus = []
    q_bm25 = None
    c_bm25 = None
    c_corpus = []
    question_documents = []
    sum_documents = []
    for cs in csts:
        q_corpus.append(cs.thongtinkh)
        c_corpus.append(cs.chitietyc)
        q_document = {
            "title": cs.chitietyc,
            "content": f"{cs.thongtinkh}",
            "matruong": cs.matruong,
            "phanhe": cs.phanhe,
            "macase": cs.macase,
        }
        question_documents.append(q_document)

        c_document = {
            "title": cs.chitietyc,
            "content": f"{cs.chitietyc}",
            "matruong": cs.matruong,
            "phanhe": cs.phanhe,
            "macase": cs.macase,
        }
        sum_documents.append(c_document)
    q_tokenized_corpus = [doc.split(" ") for doc in q_corpus]
    c_tokenized_corpus = [doc.split(" ") for doc in c_corpus]
    q_bm25 = BM25Okapi(q_tokenized_corpus)
    c_bm25 = BM25Okapi(c_tokenized_corpus)

    # phanhe = request.json.get("phanhe")

    # kws = extract(query)
    # inp = {"title": "", "text": query}
    # kw_pipeline = KeywordExtractorPipeline(phobert, ner_model, device="cuda:0")

    # kws = kw_pipeline(
    #     inputs=inp, min_freq=1, ngram_n=(1, 5), top_n=3, diversify_result=False
    # )

    instruct_rewrite_prompt = "Bạn là trợ lý nghiên cứu AI tiếng Việt đáng tin cậy. Tuyệt đối không trả lời câu hỏi của người dùng, mà chỉ làm theo yêu cầu bạn được hướng dẫn. Nếu câu truy vấn của người dùng không phải là câu hỏi, hãy chuyển câu truy vấn của người dùng thành câu hỏi. Nếu câu truy vấn của người dùng là một câu hỏi, hãy giữ nguyên câu truy vấn của người dùng. Sau đó, bạn hãy tạo ra nhiều câu tìm kiếm truy vấn dựa trên câu hỏi của người dùng.\nYêu cầu: \nHãy mở rộng câu truy vấn bằng cách paraphrase. Câu truy vấn được bạn paraphrase BẮT BUỘC phải liên quan đến câu hỏi của người dùng. Nếu có nhiều cách để paraphrase câu hỏi của người dùng, hoặc có nhiều từ đồng nghĩa với từ khóa của người dùng, hãy trả về nhiều phiên bản của câu truy vấn đó với các cách paraphrase khác nhau.\nNếu có nhiều từ viết tắt mà bạn không biết hoặc không thân thuộc, tuyệt đối không paraphrase cụm từ mà bạn không thân thuộc. \nVui lòng không trả lời câu hỏi, chỉ trả về 1 object {'Query': 'câu hỏi của người dùng', 'Phrases': ['câu hỏi đã được paraphrase','câu hỏi đã được paraphrase']} \nSau đây là những câu trả lời mẫu: \nVí dụ 1: \nCâu hỏi của người dùng: \nHiển thị sai xếp loại điểm rèn luyện. \n Câu trả lời của bạn là: \n{'Query': 'Hiển thị sai xếp loại điểm rèn luyện.', 'Phrases':['Tại sao lại bị sai xếp loại điểm rèn luyện','Làm cách nào để sửa lỗi hiển thị sai xếp loại điểm rèn luyện']} \nVí dụ 2: \nCâu hỏi của người dùng: \nThí sinh TS không thể truy cập trực tiếp vào Edubills. \nCâu trả lời của bạn là: \n{'Query': 'Thí sinh TS không thể truy cập trực tiếp vào Edubills', 'Phrases':['Tại sao thí sinh TS không thể truy cập trực tiếp vào Edubills']}"

    query_rewrite_prompt = f"Hãy trả về 3 phiên bản của câu hỏi của người dùng. \nCâu hỏi của người dùng là: \n{query}"
    retries = 0
    while True:
        try:
            rewrite_response = requests.post(
                # "http://103.98.161.94:6869/gemma_generate",
                "http://103.98.161.94:6970/gemma_generate",
                # "http://demo-gemma-1:8080/gemma_generate",
                json={
                    "instruct": instruct_rewrite_prompt,
                    "query": query_rewrite_prompt,
                },
                headers={"Content-Type": "application/json"},
            )

            rewrite_content = rewrite_response.content.decode("utf-8")
            rewrite_content = rewrite_content.split(
                "<|eot_id|><|start_header_id|>assistant<|end_header_id|>"
            )[1].split("<|eot_id|>")[0]
            queres_obj = json.loads(rewrite_content.replace("'", '"'))
            break
        except Exception as e:
            retries += 1
    queries = []
    queries = queres_obj["Phrases"]

    encoded_input = bert_tokenizer(
        queries, padding=True, truncation=True, return_tensors="pt"
    )
    encoded_input = encoded_input.to(device)
    with torch.no_grad():
        model_output = bert(**encoded_input)

    sentence_embeddings = mean_pooling(model_output, encoded_input["attention_mask"])

    normalized_vectors = F.normalize(sentence_embeddings, p=2, dim=1)

    similarity_matrix = torch.matmul(normalized_vectors, normalized_vectors.T)

    similarity_matrix = similarity_matrix.cpu()

    similarity_matrix = similarity_matrix[0][1:]

    query_position = similarity_matrix.argmax().item()

    new_query = queries[query_position]

    symnonym_prompt = "Bạn là trợ lý nghiên cứu AI tiếng Việt đáng tin cậy. Khi được đưa ra một câu hỏi, hãy xác định thành phần quan trọng nhất trong câu hỏi của người dùng. Sau đó, hãy đưa 3 cụm từ đồng nghĩa, sát nghĩa nhất với thành phần quan trọng trong câu hỏi. Định dạng của câu trả lời nên là: {'<context>': <thành phần quan trọng nhất trong câu hỏi>, '<Word1>':<Từ đồng nghĩa thứ 1>, '<Word2>':<Từ đồng nghĩa thứ 2>, '<Word3>':<Từ đồng nghĩa thứ 3>}\nVí dụ: Câu hỏi của người dùng là: Có một trường hợp bị sai phương thức trong phiếu đăng ký xét tuyển\nCâu trả lời của bạn: {'context': 'Sai phương thức trong phiếu đăng ký xét tuyển', 'Word1': 'Lỗi phương thức trong đăng ký xét tuyển', 'Word2':'sai cách làm trong phiếu đăng ký xét tuyển', 'Word3': 'Sai phương thức trong văn bản đăng ký xét tuyển'}\nHướng dẫn quan trọng:\n- Dựa các phản hồi trên dữ liệu thực tế, không phải suy đoán.\n"
    kws = []
    sym = []
    retries = 0
    while True:
        try:
            response = requests.post(
                # "http://103.98.161.94:6869/gemma_generate",
                "http://103.98.161.94:6970/gemma_generate",
                # "http://demo-gemma-1:8080/gemma_generate",
                json={
                    "instruct": symnonym_prompt,
                    "query": f"Câu hỏi của người dùng là: \n{query}",
                },
                headers={"Content-Type": "application/json"},
            )
            content = response.content.decode("utf-8")
            content = content.split(
                "<|eot_id|><|start_header_id|>assistant<|end_header_id|>"
            )[1].split("<|eot_id|>")[0]

            content_obj = json.loads(content.replace("'", '"'))
            break
        except Exception as e:
            retries += 1
    kws.append(content_obj["Word1"])
    kws.append(content_obj["Word2"])
    kws.append(content_obj["Word3"])

    sym.append(content_obj["Word1"])
    sym.append(content_obj["Word2"])
    sym.append(content_obj["Word3"])

    retries = 0
    while True:
        try:
            response = requests.post(
                # "http://103.98.161.94:6869/gemma_generate",
                "http://103.98.161.94:6970/gemma_generate",
                # "http://demo-gemma-1:8080/gemma_generate",
                json={
                    "instruct": symnonym_prompt,
                    "query": f"Câu hỏi của người dùng là: \n{new_query}",
                },
                headers={"Content-Type": "application/json"},
            )
            content = response.content.decode("utf-8")
            content = content.split(
                "<|eot_id|><|start_header_id|>assistant<|end_header_id|>"
            )[1].split("<|eot_id|>")[0]

            content_obj = json.loads(content.replace("'", '"'))
            break
        except Exception as e:
            retries += 1
    kws.append(content_obj["Word1"])
    kws.append(content_obj["Word2"])
    kws.append(content_obj["Word3"])

    results = []
    questions = []
    sums_ = []
    results.append(bm25(query, q_bm25, c_bm25, q_corpus, c_corpus, matruong=matruong))
    results.append(
        bm25(new_query, q_bm25, c_bm25, q_corpus, c_corpus, matruong=matruong)
    )
    results.append(
        bm25(
            content_obj["context"],
            q_bm25,
            c_bm25,
            q_corpus,
            c_corpus,
            matruong=matruong,
        )
    )

    main_idea_instruct = "Bạn là trợ lý nghiên cứu AI tiếng Việt đáng tin cậy. Tuyệt đối không trả lời câu hỏi của người dùng, mà chỉ làm theo yêu cầu bạn được hướng dẫn. Khi được đưa ra một câu hỏi, hãy xác định thành phần quan trọng nhất trong câu hỏi. Câu trả lời bạn trả về là một object có dạng: {'main':'ý chính của câu hỏi'}.\nVí dụ: Câu hỏi của người dùng: 'Trường của tôi có trường hợp nào liên quan đến lỗi trong việc đăng ký môn học'\n Câu trả lời của bạn: {'main': 'lỗi trong việc đăng ký môn học'}. \nHướng dẫn quan trọng:\n- Tuyệt đối không thay đổi cách dùng từ của người dùng. Ý chính của câu hỏi phải nằm trong câu hỏi của người dùng. \n-Không được phép trả lời câu hỏi của người dùng."

    while True:
        try:
            response = requests.post(
                # "http://103.98.161.94:6869/gemma_generate",
                "http://103.98.161.94:6970/gemma_generate",
                # "http://demo-gemma-1:8080/gemma_generate",
                json={
                    "instruct": main_idea_instruct,
                    "query": f"Câu hỏi của người dùng: {query}. Câu trả lời của bạn:",
                },
                headers={"Content-Type": "application/json"},
            )
            content = response.content.decode("utf-8")
            content = content.split(
                "<|eot_id|><|start_header_id|>assistant<|end_header_id|>"
            )[1].split("<|eot_id|>")[0]

            content_obj = json.loads(content.replace("'", '"'))
            break
        except Exception as e:
            retries += 1
    kws.append(content_obj["main"])

    for item in kws:
        results.append(
            bm25(item[0], q_bm25, c_bm25, q_corpus, c_corpus, matruong=matruong)
        )
    for res in results:
        if res["question_results"] != []:
            questions.append(res["question_results"])
        if res["sum_results"] != []:
            sums_.append(res["sum_results"])
    cst_cases = []
    for question in questions:
        for q in question:

            cst_case = Cst.query.filter_by(thongtinkh=q, matruong=matruong).first()
            if cst_case != None:
                cst_cases.append(
                    {
                        "macase": cst_case.macase,
                        "chitietyc": cst_case.chitietyc,
                        "thongtinkh": cst_case.thongtinkh,
                        "dapungcongty": cst_case.dapungcongty,
                        "matruong": cst_case.matruong,
                        "phanhe": cst_case.phanhe,
                    }
                )
    for sum_ in sums_:
        for s in sum_:
            cst_case = Cst.query.filter_by(chitietyc=s, matruong=matruong).first()
            if cst_case != None:
                cst_cases.append(
                    {
                        "macase": cst_case.macase,
                        "chitietyc": cst_case.chitietyc,
                        "thongtinkh": cst_case.thongtinkh,
                        "dapungcongty": cst_case.dapungcongty,
                        "matruong": cst_case.matruong,
                        "phanhe": cst_case.phanhe,
                    }
                )

    def remove_duplicate(my_list):
        unique_list = []
        seen_ids = set()
        for item in my_list:
            if item["macase"] not in seen_ids:
                unique_list.append(item)
                seen_ids.add(item["macase"])
        return unique_list

    cst_cases = remove_duplicate(cst_cases)
    #     generate_prompt = """
    # Câu hỏi của người dùng: {query}
    # Câu trả lời của bạn:
    # """
    context_window = ""
    for index, item in enumerate(cst_cases):
        case_prompt = """
Thông tin {index}:
Mã case: #{macase}
Tóm tắt của case: {chitietyc}
Thông tin từ khách hàng: {thongtinkh}
Đáp ứng từ công ty: {dapungcongty}

"""
        case_prompt = case_prompt.format(
            index=index,
            chitietyc=item["chitietyc"],
            thongtinkh=item["thongtinkh"],
            dapungcongty=item["dapungcongty"],
            macase=item["macase"],
        )
        context_window += case_prompt
    instruct_filter = "Hướng dẫn cho model:\n\nBạn sẽ được cung cấp một câu hỏi và một số thông tin. Các thông tin mà bạn nhận được có dạng sau:\n<Mã case>, <Tóm tắt của case>, <Thông tin khách hàng>, <Đáp ứng từ công ty>\nYêu cầu của bạn là:\n\n1. Đọc hiểu câu hỏi và thông tin đã cung cấp.\n\n2. Dựa vào nội dung của câu hỏi và các case thông tin, xác định có tồn tại thông tin nào có thể dùng để trả lời câu hỏi của người dùng không? Nếu không có nội dung nào trong các case có thể trả lời được câu hỏi, hãy trả về một chữ *No*. Nếu tồn tại nội dung có thể trả lời câu hỏi, hãy trả về một chữ *Yes*.\n\nVí dụ:\nThông tin 1:\nMã case: #37433\nTóm tắt của case: Trung tâm tuyển sinh Trường Đại học Kỹ thuật công nghiệp kính gửi quý công ty.\nThông tin từ khách hàng: Trung tâm tuyển sinh Trường Đại học Kỹ thuật công nghiệp kính gửi lại quý công ty các yêu cầu: 1. Thí sinh đăng ký xét tuyển bằng phương thức xét học bạ chỉ được chọn một trong 2 phương án, không được chọn cả hai phương án Trân trọng.\nĐáp ứng từ công ty: Chúng tôi đã hiệu chỉnh lại nội dung. Khi thí sinh đã đăng ký phương án 1 rồi nếu phương án khác chương trình sẽ thông báo hồ sơ đã tồn tại.\n\nThông tin 2:\nMã case: #36893\nTóm tắt của case: Trung tâm tuyển sinh Trường Đại học Kỹ thuật công nghiệp kính gửi quý công ty.\nThông tin từ khách hàng: Trung tâm tuyển sinh Trường Đại học Kỹ thuật công nghiệp kính gửi quý công ty các yêu cầu:\n1. Thí sinh đăng ký xét tuyển bằng phương thức xét học bạ chỉ được chọn một trong 2 phương án, không được chọn cả hai.\nĐáp ứng từ công ty: Hiện tại Edusoft đã có hỗ trợ ràng buộc chỉ cho phép thí sinh chỉ đăng ký 1 phương thức. Trường hợp nếu cho phép đăng ký nhiều phương thức, Anh vui lòng chỉnh định lại là 'Có'.\n\nCâu hỏi của người dùng:\nTôi muốn biết về các trường hợp thí sinh bị sai phương thức đăng ký xét tuyển.\n\nCâu trả lời mẫu:\n*Yes*\n\nLSau đây là thông tin bạn được cung cấp:\n"
    instruct_filter += context_window
    query_filter = (
        "Hãy trả về ít nhất 5 cases bạn sẽ dùng. \nCâu hỏi của người dùng là: \n"
    )
    query_filter += new_query

    recommended_macases = []
    retries = 0
    while True:
        try:
            response = requests.post(
                # "http://103.98.161.94:6869/gemma_generate",
                "http://103.98.161.94:6970/gemma_generate",
                # "http://demo-gemma-1:8080/gemma_generate",
                json={
                    "instruct": instruct_filter,
                    "query": query_filter,
                },
                headers={"Content-Type": "application/json"},
            )
            content = response.content.decode("utf-8")
            content = content.split(
                "<|eot_id|><|start_header_id|>assistant<|end_header_id|>"
            )[1].split("<|eot_id|>")[0]

            content_obj = json.loads(content.replace("'", '"'))
            break
        except Exception as e:
            retries += 1
    recommended_macases = content_obj["cases"]
    recommended_cases = []
    for ca in recommended_macases:
        cst_case = Cst.query.filter_by(macase=ca).first()
        if cst_case != None:
            recommended_cases.append(
                {
                    "macase": cst_case.macase,
                    "chitietyc": cst_case.chitietyc,
                    "thongtinkh": cst_case.thongtinkh,
                    "dapungcongty": cst_case.dapungcongty,
                    "matruong": cst_case.matruong,
                    "phanhe": cst_case.phanhe,
                }
            )
    recommended_cases = remove_duplicate(recommended_cases)
    context_window = ""
    for index, item in enumerate(recommended_cases):
        case_prompt = """
Thông tin {index}:
Mã case: #{macase}
Tóm tắt của case: {chitietyc}
Thông tin từ khách hàng: {thongtinkh}
Đáp ứng từ công ty: {dapungcongty}
"""
        case_prompt = case_prompt.format(
            index=index,
            chitietyc=item["chitietyc"],
            thongtinkh=item["thongtinkh"],
            dapungcongty=item["dapungcongty"],
            macase=item["macase"],
        )
        context_window += case_prompt

    final_prompt = "Bạn là một trợ lý AI chuyên trả lời câu hỏi dựa trên các thông tin đã được cung cấp. \n\nLưu ý quan trọng:\nKhông được suy diễn. Bạn chỉ được trả lời dựa trên các thông tin đã được cung cấp.\nNhững thông tin bạn cung cấp phải chính xác và không thay đổi so với những thông tin đã có.\n BẮT BUỘC phải kèm theo mã case vào câu trả lời của bạn.\n Nếu không có case nào chứa thông tin để trả lời câu hỏi của người dùng, hãy trả lời rằng bạn không biết dựa trên thông tin được cho. TUYỆT ĐỐI KHÔNG SUY DIỄN.\n\nQuy trình trả lời câu hỏi của bạn NẾU thông tin dùng để trả lời tồn tại trong thông tin được cho là:\n\nHiểu câu hỏi: Đọc và nắm bắt thông tin trong câu hỏi của người dùng.\n\nPhân tích và hiểu thông tin đã được cho: Đọc và hiểu rõ các thông tin đã được cung cấp. Các thông tin này có thể bao gồm mã case, thông tin từ khách hàng, đáp ứng từ công ty, và tóm tắt của case.\n\nCung cấp cho người dùng bạn dùng thông tin có mã case nào để trả lời câu hỏi. Hãy trích đúng và chính xác mã case mà bạn tham khảo để trả lời cho người dùng. Bạn cần cung cấp câu trả lời rõ ràng và đầy đủ, và bắt buộc phải trích dẫn mã case mà bạn tham khảo để trả lời.\n\nCấu trúc thông tin được cung cấp:\n\nMã case: [Mã Case]\n\nThông tin từ khách hàng: [Thông tin chi tiết từ khách hàng]\n\nĐáp ứng từ công ty: [Đáp ứng từ công ty]\n\nTóm tắt của case: [Tóm tắt về case]\nSau đây là thông tin bạn được cung cấp:\n"

    return (
        jsonify(
            {
                "prompt": final_prompt + context_window,
                "cases": recommended_cases,
                "len": len(recommended_cases),
                "new_query": new_query,
                "sym": sym,
            }
        ),
        200,
    )


def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[
        0
    ]  # First element of model_output contains all token embeddings
    input_mask_expanded = (
        attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    )
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(
        input_mask_expanded.sum(1), min=1e-9
    )


bert = None
bert_tokenizer = None

if __name__ == "__main__":
    # q_bm25, c_bm25 = init()
    bert = AutoModel.from_pretrained("bkai-foundation-models/vietnamese-bi-encoder")
    bert_tokenizer = AutoTokenizer.from_pretrained(
        "bkai-foundation-models/vietnamese-bi-encoder"
    )
    bert.to(device)
    bert.eval()
    from waitress import serve

    serve(app, host="0.0.0.0", port=1111)
