wadmin

一键安装langchain-ChatGLM

最近开源大模型层出不穷,非常火爆。好多小伙伴跃跃欲试,但是,大模型本地搭建,就算是只做推理也需要性能强悍的机器,更不要说微调和全参数训练,没有几十万的显卡投入是搞不定的。chatGLM推理可以在cpu上运行,但是不建议,速度很慢。6b模型建议12G显卡,最好16G以上(int4好像只要6G)。市面上,16G显存的显卡大概1w左右。24G大概1w5左右。如果不是专门做模型的人,不建议去购买,不过买来玩3A大作是挺好的,哈哈。算法小白建议租显卡,简单体验一下就行。市面上好多算力平台,大家可能对比一下价格,根据自身需要选择,我这里用的是autoDL。

一、注册

先去AutoDL-品质GPU租用平台-租GPU就上AutoDL 官网注册账号,然后实名认证,不然你无法用浏览器访问你的服务网址。

autodl相对比较便宜,按流量计费。28G显卡大概1.18元/小时,如果认证学生好像有免费时间,听说好多学生党用它做毕设。

二、选服务器

和其他云服务页面比较像,听说显卡需要抢(不建议社畜去抢,影响人家穷学生毕业就不好了),选择需要的型号,如果()是0,就是没有了。

这里有个非常方便的功能,可以选择一些社区镜像,直接用,不用复杂的配置,很方便。也可以用基础镜像,默认安装了一些工具,也可以把自己安装好的服务做成镜像。

选好镜像以后,点击“立即创建”按钮就行了。

三、启动登录服务

启动完以后,就可以登录服务器了。根据自己的习惯选择链接方式,最简单是用它自带jupyterlab 网页版本,很方便上传下载文件。我习惯用secureCRT,复制ssh登录命令就行。

这里注意,secureCRT必须是8.0以上,不然不支持。

然后在终端执行三条命令,非常简单:(不懂什么意思的,查一下吧,很简单)

$cd /root/langchain-ChatGLM/

$conda activate /root/pyenv

$python webui.py

执行最后一条命令,看到下图的提示,就代表启动成功了!

最后,点击“自定义服务”,自动跳到浏览器,就可以在浏览器里体验自己安装的大模型了。

四、使用

1.可以直在右侧选择llm对话,这样就是训练好的模型,体验还不错。顺便调戏一下,哈哈。

2.还可以自建知识库问答,自己上传md、pdf、docx、txt。注意文件编码最好是utf-8,文件英文名,不然会处理不了。

自己上传了txt和pdf文档,体验了一下,效果一般,可能我给的文档质量不好,这方面功能还有待完善。

3.在页面上还可以选择模型来加载,有五种,但是一定要留出足够的硬盘空间,换模型,原模型数据不会删。

模型在推理的时候,特别是在知识库问答,有时候GPU的内存利用率会达到99%了,有时候会突然显存爆了,建议还是人工处理一下文档。

总结:

这篇文章只是简单安装,好多地方需要调研优化,感兴趣的可以去官网看看。官方每天都在更新代码,修改bug,不断完善。

一直认为训练费钱,没想到推理也不便宜,我没做压力测试,估计一台机器支持不了几个人并发用。

一些其它问题:

1.如何更新chatglm模型文件

/root/model/删除 chatglm-6b文件夹

/root/autodl-tmp/下面重新clone

成功之后复制到 /root/model下面

2.如何更新仓库代码(因为直接使用的镜像,代码比较老,有一些bug)

$cd /root/langchain-ChatGLM/

$rm -rf ~/.gitconfig

$git pull

删除冲突文件

再次执行git pull

更新虚拟环境依赖,注意必须切换到虚拟环境里

$conda activate /root/pyenv

$pip install -r requirements.txt

修改配置文件

修改web.py文件,这个端口是autodl启动服务里的端口

修改langchain-ChatGLM/configs/model_config.py文件里两个路径,服务器模型文件路径,如果不修改,启动web.py会重新下载模型文件,磁盘会爆炸。

重新启动web.py就可以了。

Posted by wadmin in 技术, 0 comments

外卖里的那些粥粥

最近胃不舒服,就在外卖平台点粥。以前常见的品牌,嘉和一品,宏状元都不排在第一页了,排在前边的是江川右,三米,曼玲。尝了几家,菜品很丰富,价格适中。包装很不错,主打个性范。不过,很快就吃腻了。总觉得似曾相识的感觉,偶尔有质量翻车的时候。

就从网上查了一下他们的供应商和这个行业的情况。

外卖行业粥的发展史可以参考这片文章,https://card.weibo.com/article/m/show/id/2309404616174901264632 

大家可以好好读读,数据很多。总结几点:

1.粥这个品类是2010开始发力,被外卖平台红利带火

2.10%利润不高,占总外卖订单的5%左右,排在第五位,排在麻辣烫、面条、米粉之后,而排名第一的快餐简餐以43.7%的占比。

3.最近两年,市场受重口味影响,订单量下降,品控问题频出,赛道前景堪忧。

4.建议主打体验店和外卖店或许才是最妥当的处理方式。线下店注重用户体验和口碑,外卖店注重规模和数量。

在小红书上的阿伦聊餐饮找到一些资料:

第一,灌汤小笼包,思念的半成品蒸出来品相还不错,曼玲粥、三米粥铺、江川右都在用。

第二,蒸饺,曼陵粥、三米粥铺的供应商是正大,正大的猪肉玉米、菌菇三线和青菜玉米都不错。

第三,普通的鲜肉包、紫薯包、奶黄包可以用安井的,上市公司品质有保障,粥员外、粥公一号也在用。

第四,扁豆焖面,推荐嘉禾一品的。肉夹馍和早餐饼推荐希波的,价格不贵,性价比高,肉夹馍用香辣猪肉的,早餐饼要买牛肉萝卜的

最后,配菜就选佐大师和虎邦辣酱的。

具体真伪不做讨论,不过仔细品味,还真是和以前的速冻食品很相似。

不光粥这个品类,曾经前段时间非常火的一篇文章 《你点的外卖可能一年前就做好了》,全是用的料理包。其实这个产业链很早就有,现在非常成熟了,还有一家企业味知香,已经上市。

“在疫情推动下,半成品菜行业自2020年以来取得了高速发展,从发展趋势来看,未来半成品菜势必会成为一个新的细分品类以及竞争赛道。”中国食品产业分析师朱丹蓬向中新经纬客户端表示。

不过,半成品菜口感不佳,并没有广告中那么好。“菜品逐个解冻需要很久,一顿年夜饭,从解冻到上桌起码需要3个小时,而且都是二次解冻的,海鲜类的菜都不新鲜了。味道整体一般,菜量也很少,根本不够吃的。”北京的赵女士在去年春节体验过一次半成品年夜饭后,再也不想尝试任何半成品菜。口感问题和价格问题是目前制约半成品菜行业发展的两大问题。

广东人吃,讲究“镬气”,半成品再靠技术解决保鲜,也不如现做的好吃健康。不过,现在年轻人生活节奏很快,很难在家里花一个小时的时间做饭吃了。而且,不知道从什么时候开始,自己买菜做饭的成本比点外卖贵,比饭店持平,这还不算人工;以前刚毕业,工作餐不舍得外边吃,都是自己买菜带饭,很便宜,现在成了奢侈品。以后我们的孩子长大了,还能像我们这样怀念家的味道了吗?

关于预制菜的深度解读相关文章

https://36kr.com/topics/1260769095140227

Posted by wadmin in 感悟, 0 comments

信息爆炸对我们的影响

在这个互联网信息爆炸的时代,新闻、文章、博客、推特、视频等各种信息形式每天都在袭击我们。让我们想象一下,是否曾有过这样的体验:在滑动手机屏幕,浏览大量新信息的时候,你感觉到困扰,焦虑,甚至是恐慌?如果你有这样的体验,那么你并不孤单。这是因为我们的大脑并未进化到能够快速消化和吸收如此海量的信息。那么,这种现象会对我们产生什么影响呢?

1.信息过载的心理影响

现代社会的信息过载现象可能会影响我们的情绪,让我们更容易感到焦虑和压力。一项在《Journal of Experimental Psychology》上发表的研究发现,接触过多的信息可能会导致人们产生压力反应,进而影响情绪和认知功能。它的研究对象在进行需要高度关注和记忆的任务时,如果同时还要处理大量无关信息,他们的表现会明显下降。

2.信息过载与决策能力

更重要的是,信息过载也可能影响我们的决策能力。斯坦福大学的研究人员在《Nature Human Behaviour》上发表的一篇文章中指出,信息过载可能会降低人们的决策质量,并可能导致人们更倾向于做出冲动的决策。例如,在购物时,消费者面临的信息过载可能会导致他们无法理性地比较和评估各种产品,最终可能只是选择最显眼或最近期的选项,而非最合适的选择。

3.信息过载与我们的身体健康

过多的信息也可能对我们的身体健康产生影响。美国心脏病学会在《Circulation》上发表的研究发现,长时间面对电脑屏幕处理过多信息的人,比正常人群更可能患上心血管疾病,这可能与长时间的压力反应和静坐有关。

在这个信息大爆炸的时代,我们必须认识到,虽然获取信息变得越来越容易,但我们的大脑并未进化到能够处理如此大量的信息。因此,我们需要学会筛选信息,保护自己不受信息过载的影响。同时,也需要对信息进行理性分析,以避免情绪决策,保持健康的生活方式。

关于信息过载和它对我们心理、决策力和健康的影响的话题,有一些专著或部分章节进行了深入的研究和讨论。以下是几本相关的书籍:

《The Shallows: What the Internet Is Doing to Our Brains》 作者:Nicholas Carr。这本书详细地描述了互联网如何改变我们的大脑和认知习惯,特别是在处理大量信息的时候。

《The Paradox of Choice: Why More Is Less》 作者:Barry Schwartz。这本书主要探讨了选择过多对人们决策的影响,这也是信息过载的一个重要方面。

《Overload: How Good Jobs Went Bad and What We Can Do about It》 作者:Erin L. Kelly and Phyllis Moen。这本书主要讨论的是工作压力和信息过载如何影响我们的生活,以及我们如何能够应对这个问题。

《Technostress: The Human Cost of the Computer Revolution》 作者:Craig Brod。这本书是在1984年就开始探讨计算机技术带来的信息过载问题及其对人类的影响。

在信息爆炸的时代,正确地筛选和处理信息是非常重要的技能。以下是一些筛选信息的建议:

1.设定信息目标:在开始查找信息之前,首先要明确你要找什么样的信息,这将帮助你有针对性地筛选信息。

2.使用可靠的来源:依赖于权威和可靠的信息源。不可靠的信息源可能会提供错误或误导性的信息。

3.用批判性思维:不要盲目接受所有信息。对信息进行批判性的思考,分析信息的来源,信息的一致性,以及信息是否支持你的需求。

4.学会说“不”:对于那些无关的,你不感兴趣的,或者超出你需要的信息,学会说“不”。这可以帮助你减少信息过载。

5.利用工具和技术:现在有很多工具和技术可以帮助我们管理和筛选信息,比如RSS阅读器,新闻聚合应用,或者定制化的搜索工具。

6.定期“断舍离”:定期清理你的信息源,无论是订阅的邮件列表,还是社交媒体上的关注,定期去掉那些不再提供有价值信息的源。

7.培养有效阅读习惯:学习和实践一些有效的阅读习惯,比如快速阅读,划分主次,找出关键信息等,可以帮助你更有效地处理信息。

通过以上这些方法,我们可以更好地管理和筛选信息,避免信息过载带来的负面影响。

有许多优秀的工具可以帮助你管理和筛选信息。以下是一些推荐的RSS阅读器,新闻聚合应用,以及定制化的搜索工具:

RSS阅读器:

Feedly:这是一个非常流行的RSS阅读器,支持整合多个新闻源,并且可以根据你的兴趣对内容进行分类。

Inoreader:另一个高度可定制的RSS阅读器,支持保存和搜索功能。

The Old Reader:这是一个简单易用的RSS阅读器,设计简洁,界面友好。

新闻聚合应用:

Flipboard:该应用会将你关心的主题的新闻和文章集中在一起,形成一本数字杂志。

Pocket:这是一个保存你感兴趣的文章和视频的应用,你可以在任何时候、任何地方阅读。

Apple News / Google News:这两个新闻应用都会根据你的阅读习惯为你推荐相关的新闻。

定制化的搜索工具:

Google Scholar:这是一个专门用来搜索学术论文和书籍的搜索工具。

JSTOR:这是一个包含多学科的学术期刊,书籍和源材料的数字库。

Microsoft Bing Custom Search:这是一个可以定制化的搜索引擎,可以根据你的需求定制搜索结果。

这些工具都可以帮助你有效地筛选和管理信息,降低信息过载的压力。

可靠和权威的信息源依赖于你想要获取哪种类型的信息。一般来说,学术期刊、政府网站、知名新闻机构和非营利性组织都可以被认为是相对可靠的信息源。以下是一些例子:

学术期刊:

Nature

Science

The Lancet

The New England Journal of Medicine

Journal of the American Medical Association (JAMA)

政府网站:

美国国家卫生研究院(National Institutes of Health, NIH)

美国疾病控制和预防中心(Centers for Disease Control and Prevention, CDC)

联合国(United Nations, UN)

世界卫生组织(World Health Organization, WHO)

知名新闻机构:

BBC

The New York Times

The Guardian

The Wall Street Journal

Reuters

非营利性组织:

世界野生动物基金会(World Wildlife Fund, WWF)

环保组织绿色和平(Greenpeace)

红十字会(Red Cross)

请注意,尽管这些通常被视为可靠和权威的来源,但仍然需要保持警惕和批判性的思维。即使最权威的信息源也可能出现错误或存在偏见。不断验证信息、考虑多个来源并检查信息的一致性是保证你获取到的信息质量的重要步骤。

有一些工具和方法可以帮助你进行信息源追踪和多个来源比对,以下是其中的一些:

Google Scholar:Google Scholar 是一个广泛用于学术研究的搜索引擎,它可以追踪到一篇学术文章的所有引用源,这对于确认一篇文章的影响力和来源十分有用。

Wayback Machine:这是一个互联网档案项目的工具,它可以让你查看一个网页在过去不同时间的版本,这样可以帮助你追踪信息的变化。

Snopes 或 FactCheck.org:这两个网站都专门从事事实核查工作,帮助公众识别和防止虚假信息。

Google News:你可以使用 Google News 来查看多个来源对同一新闻事件的报道,这可以帮助你看到不同视角和理解可能存在的偏见。

ProQuest:这是一个数据库,它集成了各种类型的信息源,包括新闻、期刊、报告等,可以进行多元化的比对和查询。

Crossref:这是一个用于跟踪学术文献的数字对象标识符(DOI)的工具,可以追踪到一篇文章的出版信息、引用情况等。

使用这些工具和方法,你可以更有效地追踪和比对信息源,帮助你判断和获取可靠的信息。

参考:

Sparrow, B., Liu, J., & Wegner, D. M. (2011). Google Effects on Memory: Cognitive Consequences of Having Information at Our Fingertips. Science, 333(6043), 776–778. https://doi.org/10.1126/science.1207745

Misra, S., & Stokols, D. (2012). Psychological and health outcomes of perceived information overload. Environment and Behavior, 44(6), 737-759.

Ballard, D.H., Hayhoe, M.M., Pook, P.K., & Rao, R.P. (1997). Deictic codes for the embodiment of cognition. Behavioral and Brain Sciences, 20(4), 723-767.

Eppler, M.J., & Mengis, J. (2004). The concept of information overload: A review of literature from organization science, accounting, marketing, MIS, and related disciplines. The Information Society, 20(5), 325-344.

Schwartz, B. (2004). The Paradox of Choice: Why More Is Less. Harper Perennial.

Nieuwenhuis, S., Forstmann, B. U., & Wagenmakers, E. J. (2011). Erroneous analyses of interactions in neuroscience: a problem of significance. Nature Neuroscience, 14(9), 1105–1107. https://doi.org/10.1038/nn.2886

Posted by wadmin in 感悟, 0 comments