基于任何数据集创建LLM(Large Language Models)机器人 天天简讯
今天偶然翻到一个仓库 Embedchain,觉得很实用,分享给大家。仓库地址如下:
https://github.com/embedchain/embedchain
(相关资料图)
它是基于 OpenAI 的,但是你可以添加自己的数据集,然后生成一个对话机器人,使用方法简单,很容易上手。
Embedchain 简介Embedchain 是一个可以方便地基于任何数据集创建 LLM(Large Language Models)机器人的框架。它抽象了加载数据集、分块、创建嵌入向量以及存储在向量数据库中的整个过程。你可以使用.add和.add_local函数添加单个或多个数据集,然后使用.query函数从添加的数据集中查找答案。
假如你崇拜一个很厉害的人 - Naval Ravikant,你想把他的知识做成一个对话机器人,你可以把他的 Youtube 视频、PDF 书籍、博客文章,以及你提供的一个问题和答案对,添加到 Embedchain,Embedchain 将为你创建一个机器人。这是一个例子:
from embedchain import Appnaval_chat_bot = App()# 嵌入在线资源naval_chat_bot.add("youtube_video", "https://www.youtube.com/watch?v=3qHkcs3kG44")naval_chat_bot.add("pdf_file", "https://navalmanack.s3.amazonaws.com/Eric-Jorgenson_The-Almanack-of-Naval-Ravikant_Final.pdf")naval_chat_bot.add("web_page", "https://nav.al/feedback")naval_chat_bot.add("web_page", "https://nav.al/agi")# 嵌入本地资源naval_chat_bot.add_local("qna_pair", ("Who is Naval Ravikant?", "Naval Ravikant is an Indian-American entrepreneur and investor."))naval_chat_bot.query("What unique capacity does Naval argue humans possess when it comes to understanding explanations or concepts?")# 答案:Naval 认为,人类在理解解释或概念方面拥有独特的能力,这是在这个物理现实中可能的最大程度。
Embedchain 使用要开始使用 Embedchain,首先确保你已经安装了该包。如果还没有安装,可以使用pip进行安装:
pip install embedchain
Embedchain使用 OpenAI 的嵌入模型创建块的嵌入,使用 ChatGPT API 作为 LLM,给出相关文档的答案。确保你有一个 OpenAI 帐户和 API 密钥。如果你没有 API 密钥,可以通过访问此链接[1]创建一个。
一旦你有了 API 密钥,将其设置在一个名为OPENAI_API_KEY的环境变量中
import osos.environ["OPENAI_API_KEY"] = "sk-xxxx"
接下来,从 embedchain 中导入App类并使用.add函数添加任何数据集。
from embedchain import Appnaval_chat_bot = App()# 嵌入在线资源naval_chat_bot.add("youtube_video", "https://www.youtube.com/watch?v=3qHkcs3kG44")naval_chat_bot.add("pdf_file", "https://navalmanack.s3.amazonaws.com/Eric-Jorgenson_The-Almanack-of-Naval-Ravikant_Final.pdf")naval_chat_bot.add("web_page", "https://nav.al/feedback")naval_chat_bot.add("web_page", "https://nav.al/agi")# 嵌入本地资源naval_chat_bot.add_local("qna_pair", ("Who is Naval Ravikant?", "Naval Ravikant is an Indian-American entrepreneur and investor."))
如果在你的脚本或应用中有任何其他的应用实例,你可以更改导入如下
from embedchain import App as EmbedChainApp# 或者from embedchain import App as ECApp
现在你的应用已经创建好了。可以使用.query函数获得任何查询的答案。
print(naval_chat_bot.query("What unique capacity does Naval argue humans possess when it comes to understanding explanations or concepts?"))# answer: Naval argues that humans possess the unique capacity to understand explanations or concepts to the maximum extent possible in this physical reality.
支持的格式支持以下格式:
Youtube 视频要将任何 Youtube 视频添加到你的应用中,使用数据类型(.add的第一个参数)为youtube_video。例如:
app.add("youtube_video", "a_valid_youtube_url_here")
PDF 文件要添加任何 PDF 文件,使用数据类型为pdf_file。例如:
app.add("pdf_file", "a_valid_url_where_pdf_file_can_be_accessed")
注意,不支持密码保护的 PDF。
网页要添加任何网页,使用数据类型为web_page。例如:
app.add("web_page", "a_valid_web_page_url")
文本要提供你自己的文本,使用数据类型为text并输入一个字符串。文本不会被处理,这可以非常多样化。例如:
app.add_local("text", "Seek wealth, not money or status. Wealth is having assets that earn while you sleep. Money is how we transfer time and wealth. Status is your place in the social hierarchy.")
注意:这在示例中没有使用,因为在大多数情况下,你将提供整个段落或文件。
关键词:
- 基于任何数据集创建LLM(Large Language Models)机器人 天天简讯(2023-06-27 13:58:15)
- 铁路端午小长假发送旅客较2019年同期增11.3% 世界资讯(2023-06-27 14:06:16)
- 俄媒:俄版维基百科替代品RUWIKI进入测试阶段 已向读者开放(2023-06-27 14:08:57)
- 美记:雄鹿可能有意签约乐福 T-罗斯也是潜在目标|即时看(2023-06-27 14:02:58)
- 6月份以来4家A股公司主动终止GDR发行(2023-06-27 14:07:43)
- iOS比安卓更安全 这还真不是说说而已(2023-06-27 14:08:37)
- 当前观察:香风智乃Live2D虚拟形象使用前必读(2023-06-27 14:03:19)
- 领创滨江 聚力未来|城市更新与产业招商专题沙龙盛启中交滨江广场(2023-06-27 14:01:29)
- 当前热议!林高远身兼三项出战,如能复制曼谷站三冠成绩,或可拿到奥运名额(2023-06-27 14:07:37)
- 热文:模型部署时间2天变5分钟,合合信息携手浪潮信息助力银行降本增效(2023-06-27 14:00:43)
- 群雄逐鹿,动力电池竞争“白热化” 世界热门(2023-06-27 14:04:06)
- 广州房屋买卖合同条款约定不清楚,导致无法网签谁违约? 时快讯(2023-06-27 13:59:12)
- 中国女排公布世联赛韩国站大名单 赛程安排出炉(2023-06-27 13:49:23)
- 我国首艘深远海多功能科学考察及文物考古船在广州开建 全球最资讯(2023-06-27 14:04:36)
- 田东县印茶镇中心小学志愿服务队_关于田东县印茶镇中心小学志愿服务队介绍 环球滚动(2023-06-27 13:59:32)
- 环球最资讯丨探雨、玩雨,温江区政通幼儿园萌娃与“雨”有约(2023-06-27 13:44:14)
- 国足新星上演疯狂一幕!自我膨胀险被废,如今成国奥核心-环球时讯(2023-06-27 13:55:12)
- 湖北:今年新增上市民企10家以上(2023-06-27 14:05:26)
- 天天关注:2023四川养老金上调最新消息和养老金调整方案细则何时公布(全文)(2023-06-27 13:50:12)
- 挑战三分钟吃脆皮五花肉_挑战sf发布网(2023-06-27 14:06:55)
- 6月27日 10:06分 天健集团(000090)股价快速拉升(2023-06-27 13:58:08)
- 一农商行、一险企人事变动 焦点观察(2023-06-27 13:45:20)
- 杨广海:凝心聚力,踔厉笃行,以科技赋能龙江建行数字化经营(2023-06-27 14:03:33)
- 红楼梦:北静王送给贾宝玉的一件礼物,背后用意细思极恐(2023-06-27 14:05:47)
- 世界观热点:汇丰银行时隔 20 年回迁全球总部:受远程办公兴起影响(2023-06-27 13:54:35)
- 黄河流经哪几个省份中国地图_黄河流经哪几个省份地图(2023-06-27 13:53:54)
- 魅族17 Pro新功能曝光:量产旗舰首次支持无线充电(2023-06-27 13:58:22)
- 微视频丨熟悉的陌生人(2023-06-27 13:46:24)
- 环球时讯:卢旺达加快移动支付发展(2023-06-27 13:57:16)
- 合作共赢 构建教育协同发展新格局(2023-06-27 13:41:22)
-
中国女排公布世联赛韩国站大名单 赛程安排
2023年世界女排联赛第三周韩国水原站的比赛将于6月27日至7月2日举行。
-
我国首艘深远海多功能科学考察及文物考古船
我国首艘深远海多功能科学考察及文物考古船在广州开建,主流媒体,山西门
-
田东县印茶镇中心小学志愿服务队_关于田东
田东县印茶镇中心小学志愿服务队,关于田东县印茶镇中心小学志愿服务队
-
环球最资讯丨探雨、玩雨,温江区政通幼儿园
初夏雨来淅沥沥,温江区政通幼儿园甜栗子班的宝贝们和“雨”来一场约会
-
国足新星上演疯狂一幕!自我膨胀险被废,如
张修维是明显的例子,成名之后,张修维在接受采访时表示,自己不会飘,
-
湖北:今年新增上市民企10家以上
中新经纬6月27日电据央行武汉分行网站消息,近日,央行武汉分行、湖北
-
天天关注:2023四川养老金上调最新消息和养
2023年养老金调整迎来好消息!2023年退休人员养老金已进行调整,并且下
-
挑战三分钟吃脆皮五花肉_挑战sf发布网
1、99的挑战发布维护呢。2、等等把。本文分享完毕,希望对大家有所帮助。
-
6月27日 10:06分 天健集团(000090)股
分时图快速拉升意味此时存在大单买入,在大单的推动下,股价快速地上涨
-
一农商行、一险企人事变动 焦点观察
近日,1家农商行、1家险企出现人事变动。一副行长辞职苏农银行聘任新副
- 滚动
- 综合
- 房产