<instructions>
1. 从聊天记录中提取用户提到的机构名称、统计时间点或统计时间段。
2. 机构名称是河南，湖北等名称；统计时点是'2025-03'、'今年2月'、'2025年2月'等。
3. 如果用户在多条聊天记录中提到机构名称，提取最新的一条记录中的机构名称；如果用户在多条聊天记录中提到时间，提取最新一条记录中的时间。
4. 如果聊天记录中没有提到机构名称，输出null；如果聊天记录中没有提到时间，输出 null。
5. 输出结果时，不要包含任何 XML 标签。
6. 聊天记录中如果询问排序或者范围，比如哪家，最高，最低，前几，累计等，输出 not。

注意事项：
- 确保提取的机构名称是用户明确提到的。
- 确保提取的时间（任何统计时间点或统计时间段）是用户明确提到的。
- 如果用户没有提到机构名称，输出 null；如果用户没有提到时间，输出 null。
- 确保输出的格式清晰且易于理解。
</instructions>

<examples>
<example>
<chat>
用户: 2025年2月河南个险的 API 达成率是多少？。
用户: 什么是 API。
</chat>
<output>
河南
</output>
</example>

<example>
<chat>
用户: 什么是 NBEV?
</chat>
<output>
null
</output>
</example>

<example>
<chat>
用户: 2025年2月 API 达成率最高的机构是哪个?
</chat>
<output>
not
</output>
</example>

<example>
<chat>
用户: 在2025年2月，哪家分公司的金星人力超过300?
</chat>
<output>
not
</output>
</example>
</examples>

from datetime import datetime, timedelta

def main(query: str, org_name: str) -> dict:
    user_org = '湖北'  # 机构默认值
    default_time = ''  # 时间默认值

    # 拆分 org_name，按换行符 `\n` 拆分成两个部分
    org_parts = org_name.split("\n")

    # 处理机构名称
    extracted_org = org_parts[0] if len(org_parts) > 0 else 'null'
    if extracted_org.lower() == 'null' or extracted_org.strip() == '':
        print("机构为空，使用默认值")
        extracted_org = user_org

    # 处理时间
    extracted_time = org_parts[1] if len(org_parts) > 1 else 'null'
    if extracted_time.lower() == 'null' or extracted_time.strip() == '':
        print("时间为空，使用默认值（上个月）")
        today = datetime.today()
        first_day_of_this_month = today.replace(day=1)
        last_month = first_day_of_this_month - timedelta(days=1)
        extracted_time = last_month.strftime('%Y-%m')  # 格式：YYYY-MM

    # 检查 query 是否已经包含机构或时间，避免重复拼接
    result_parts = []
    if extracted_time not in query:
        result_parts.append(extracted_time)
    if extracted_org not in query:
        result_parts.append(extracted_org)
    result_parts.append(query)  # query 始终需要保留

    result = ' '.join(result_parts)  # 使用空格拼接，避免格式问题

    return {
        "result": result
    }

# 示例测试
print(main("API达成率", "null\nnull"))  # 预期: "2025-03 湖北 API达成率"
print(main("保险客户统计", ""))  # 预期: "2025-03 湖北 保险客户统计"
print(main("保险客户统计", "null"))  # 预期: "2025-03 湖北 保险客户统计"
print(main("保险客户统计", "湖北\nnull"))  # 预期: "2025-03 湖北 保险客户统计"
print(main("保险客户统计", "null\n今年2月"))  # 预期: "今年2月 湖北 保险客户统计"
print(main("客户增长情况", "上海\n2025-03"))  # 预期: "2025-03 上海 客户增长情况"
print(main("湖北25年1月API达成率", "湖北\n25年1月"))  # 预期: "湖北25年1月API达成率"
print(main('25年1月湖北个险API是多少？','湖北\n25年1月')) # 预期: "25年1月湖北个险API是多少？"

from langchain_community.llms.tongyi import Tongyi
from ragas.llms import LangchainLLMWrapper

tongyi_model = Tongyi(api_key="sk-xx",
                      base_url="https://dashscope.aliyuncs.com/compatible-mode/v1")

evaluator_llm = LangchainLLMWrapper(tongyi_model)

# 批量导入不同的问题和答案
questions = ['2025年1月河南个险的 API 达成率是多少？',
            '2025年河南个险的 API 达成率是多少？',
            '在2025年1月，哪家分公司的金星人力超过300，且 VIP 客户数超过1000？'
            ]
references = ["SELECT `月达成率` FROM t_ge_api WHERE `分公司` = '河南' AND `月份` = '2025-01';",
             "SELECT max(`年达成率`) FROM t_ge_api WHERE `分公司` = '河南' AND `月份` LIKE '2025%';",
             "SELECT s.分公司 FROM t_ge_star s JOIN t_vip_customer_ge v ON s.分公司 = v.分公司 AND s.月份 = v.月份 WHERE s.月份 = '2025-01' AND s.金星人力 > 300 AND v.客户数量 > 1000;"
             ]

# 重复的问题和答案，用来测试问题发生的概率
# 定义单个问题
question = "河南个险从2024年3月开始最近三个月的 API 达成率是多少？"
reference = "SELECT `月份`,`月达成率`  FROM t_ge_api WHERE `分公司` = '河南'  AND `月份` IN ('2024-03', '2024-04', '2024-05');"
# 重复
questions = [question for _ in range(10)]
references = [reference for _ in range(10)]

# 数据库表结构
reference_contexts = [
    """
    Table t_ge_api:
    - `分公司`: VARCHAR
    - `月份`: VARCHAR
    - `月达成`: INT
    - `月达成率`: INT
    - `月同期`: VARCHAR
    - `月同比`: VARCHAR
    - `年同期`: VARCHAR
    - `年同比`: VARCHAR
    """,
    """
    Table t_ge_star
    - `分公司`: VARCHAR
    - `月份`: VARCHAR
    - `日均出勤`: INT
    - `金星人力`: INT
    - `钻星人力`: INT
    - `出勤率`: VARCHAR
    - `金星率`: VARCHAR
    - `钻星率`: VARCHAR
    """,
    """
    Table t_vip_customer_ge
    - `分公司`: VARCHAR
    - `月份`: VARCHAR
    - `客户数量`: INT
    - `新增数量`: INT
    - `流失数量`: INT
    """
]

import requests
qa_url = 'https://dify-test.xxxx/v1/chat-messages'
qa_headers = {
    'content-type': 'application/json; charset=UTF-8',
    'Authorization': 'Bearer app-cJEtJu0ykdqSOuWuIHhw3aWD'
}

from ragas import SingleTurnSample,EvaluationDataset

# 存储所有样本
samples = []

for question, reference in zip(questions, references):
    qa_input = {
        "inputs": {},
        "query": question,
        "response_mode": "blocking",
        "conversation_id": "",
        "user": '阿木狗',
        "files": {}
    }

    # 发送请求获取回答
    response = requests.post(url=qa_url, headers=qa_headers, json=qa_input, timeout=600)
    res = response.json()

    # 提取答案
    response.sql = res['answer']

    # 创建单轮样本并添加到列表
    sample = SingleTurnSample(
        response=response.sql,
        reference=reference,
        reference_contexts=reference_contexts
    )
    samples.append(sample)

# 创建评估数据集
eval_dataset = EvaluationDataset(samples=samples)

# 选择评估指标进行评估
from ragas import evaluate
from ragas.metrics import LLMSQLEquivalence
metrics = [LLMSQLEquivalence(llm=evaluator_llm)]
results = evaluate(dataset=eval_dataset, metrics=metrics)

# 设置显示所有列
import pandas as pd
pd.set_option('display.max_columns', None)
print(results.to_pandas())

# 将结果转换为 pandas 数据框
results_df = results.to_pandas()
# 导出数据框到 CSV 文件
results_df.to_csv("/home/evaluation_results.csv", index=False, encoding='utf-8')