llama-index

Motivation

如何开发以下需求？

• 业务 （Models、Prompt）

  • 多模型（gpt-3.5, gpt-4, chatglm-6b, chatglm-6b-ft）
  • 多业务（运营push、个性化push、weibo地域、商业评论、新闻评论……）
  • 不同业务 X 不同模型 = 不同prompt
  • 敏感词风控
  • 输出标准化json格式

• 网页 （Memory）

  • 多轮对话
  • 控制记忆上限（按轮数、按token[全量, 摘要……]）

• 外部数据 （Indexes）

  • 汽车博文生成，需要参考车型各类参数（pdf，md, txt……）

• 任务拆分 （Chain）

  • 汽车博文3段式生成
    1. 根据brief =》开头
    2. 根据brief、开头 =》 中间
    3. 根据开头、中间 =》结尾

• 日志（Callbacks）

  • 过程日志统计、token统计……

• ……

工具

目前开源工具包括以下几种：llama_index、langchain、semantic-kernel等。