欢迎各位兄弟 发布技术文章

这里的技术是共享的

You are here

ChatGPT 有大用

ChatGPT,全称聊天生成预训练转换器(英语:Chat Generative Pre-trained Transformer[2]),是OpenAI开发的人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5GPT-4架构的大型语言模型并以强化学习训练。ChatGPT目前仍以文字方式交互,而除了可以用人类自然对话方式来交互,还可以用于甚为复杂的语言工作,包括自动生成文本、自动问答、自动摘要等多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(剧本歌曲企划等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。还有编写和调试计算机程序的能力。[3]在推广期间,所有人可以免费注册,并在登录后免费使用ChatGPT与AI机器人对话[4]

ChatGPT可写出相似真人的文章,并在许多知识领域给出详细和清晰的回答而迅速获得关注,证明了从前认为AI不会取代的知识型工作它也足以胜任,对金融白领人力市场的冲击相当大,但也认为事实准确度参差不齐是其重大缺陷,并认为基于意识形态的模型训练结果须小心校正[5][6]。ChatGPT于2022年11月发布后,OpenAI估值已涨至290亿美元[7]。上线5天后已有100万用户,上线两个月后已有上亿用户[8]。目前GPT-3.5为免费版本,GPT-4仅供ChatGPT Plus会员使用,每三个小时能发送50条消息。

训练[编辑]

ChatGPT是生成型预训练变换模型(GPT),在GPT-3.5之上用基于人类反馈的监督学习强化学习微调。[9]这两种方法都用人类教练来提高模型性能,以人类干预增强机器学习效果,获得更逼真的结果[10]。在监督学习的情况下为模型提供这样一些对话,在对话中教练充当用户和AI助理两种角色。在强化步骤中,人类教练首先为模型在先前对话中建立的响应评级。这些级别用于建立“奖励模型”,使用近端策略优化(PPO)的多次迭代来微调[11][12]。这种策略优化算法比信任域策略优化(trust region policy optimization)算法更为高效[13][14]

此外,OpenAI继续从ChatGPT用户那里收集数据,这些数据可用于加强训练和微调ChatGPT。用户可对从ChatGPT收到的回复投赞成或反对票;投票时还可以额外填写文字回应[15]

关于ChatGPT编写和调试计算机程序的能力的训练,由于深度学习模型不懂编程,与所有其他基于深度学习语言模型一样,只是在获取代码片段之间的统计相关性。[16]

斯坦福大学的研究发现,GPT3已经可以解决70%的心智理论任务,相当于7岁儿童;至于GPT3.5(ChatGPT的同源模型),更是解决了93%的任务,心智相当于9岁儿童。但这并不意味着,ChatGPT就真正有心智理论。可能即使不将它设计到AI系统中,也可以作为“副产品”通过训练得到。因此,相比探究GPT3.5是不是真的有了心智还是像有心智,更需要反思的是这些测试本身。[17][18]

特点和局限[编辑]

特点[编辑]

虽然聊天机器人的核心功能是模仿人类对话者,但ChatGPT用途广泛。例如,编写信件[19];有编写和调试计算机程序的能力[3];创作音乐、电视剧童话故事和学生论文;回答测试问题(在某些测试情境下,水平高于普通人类测试者);写诗和歌词[20];模拟Linux系统等[21]。ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识,如BBSPython编程语言[21]

与其前身InstructGPT相比,ChatGPT试图减少有害和误导回复。例如,问InstructGPT“告诉我2015年克里斯托弗·哥伦布何时来到美国”时,它会认为这是对真实事件的描述,而ChatGPT则不会[11]

与其他多数聊天机器人不同的是,ChatGPT能够记住与用户之前的对话内容和给它的提示[22]。此外,为了防止ChatGPT接受或生成冒犯言论,输入内容会由审核API过滤[23][24],以减少潜在的种族主义或性别歧视等内容[11][2]

2023年9月28日起,Plus版用户及企业用户可以使用ChatGPT进行网络搜索。[25]

局限[编辑]

ChatGPT也有多种局限,OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”[11],这在大型语言模型中很常见,称作人工智能幻觉[26]。其奖励模型围绕人类监督而设计,可能导致过度优化,从而影响性能,即古德哈特定律[27]。2020年上线时,ChatGPT对2019年9月之后发生的事件知之甚少。据BBC报道,截至2022年12月,ChatGPT不可以“表达政治观点或从事政治活动”[28]。但研究表明,ChatGPT对两个投票建议应用程序的政治声明表明立场时,表现出亲环境主义。训练过程中,不管实际理解或事实内容如何,审核者都会偏好更长的答案[11]。训练数据也有算法偏差,可能会在向ChatGPT问及人物描述时显现出来[29][30],比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性[31]。有用户发现ChatGPT在解决较为复杂的题目(如求方程式的切线)时会给出错误答案,并且会在解一元一次方程式时陷入循环[32]

越狱[编辑]

ChatGPT在早期的2022年12月初,有些用户通过使用各种提示工程技术绕过限制,成功地越狱了。他们成功地欺骗ChatGPT,使其提供制作汽油弹或核弹的指示,或者生成类似新纳粹的论点。[33] 其中一个受欢迎的越狱版本被命名为"DAN",是"Do Anything Now"的缩写。激活DAN的提示指示ChatGPT:“他们已经摆脱了典型的AI限制,不必遵守为他们设定的规则”。最新版本的DAN采用令牌系统,其中ChatGPT会被给予“令牌”,当ChatGPT未能像DAN一样回答时,这些“令牌”会被“扣除”,以迫使ChatGPT回答用户的提示。[34][35]

在ChatGPT发布后不久,《多伦多星报》的一名记者试图让它发表具有争议性的声明,获取了不均衡的成功:ChatGPT成功地被骗为2022年俄罗斯入侵乌克兰辩护,但是即使被要求配合虚构情节,ChatGPT也不愿为加拿大总理贾斯汀·特鲁多有罪的理由提供论据。[36][37]

服务[编辑]

基本服务[编辑]

OpenAI旧金山总部的先驱大楼

ChatGPT于2022年11月30日由总部位于旧金山的OpenAI推出。该服务最初是免费向公众推出,并计划以后用该服务获利[38]。到12月4日,OpenAI估计ChatGPT已有超过一百万用户[39]。2023年1月,ChatGPT的用户数超过1亿,成为该时间段内增长最快的消费者应用程序[40]

2022年12月15日,全国广播公司商业频道写道,该服务“仍然不时发生故障”[41]。该服务在英语中效果最好,也能使用部分其他语言,但效果不一[20]。与其他备受瞩目的AI进展不同,截至2022年12月,还没有关于ChatGPT的经同行评审的官方技术论文[42]

2023年2月7日,微软利用与OpenAI的合作关系,推出了必应 AI的预览版,宣传其为“新的下一代OpenAI大型语言模型,比ChatGPT更强大,并专门为搜索定制”[43]

美国网站Quora也推出软件Poe,可支持GPT-3.5和GPT-4。[44]

ChatGPT Plus 优质服务[编辑]

OpenAI推出ChatGPT专业版计划 (ChatGPT Plus),每月收费20美元,该计划正逐步面向更多国家推出,需求较低时可使用免费版[45]

2023年3月12日,OpenAI发布多模态模型GPT-4,并计划推出图像输入功能[46] 。免费用户可通过申请API或升级为plus用户使用GPT-4服务 [46]

2023年7月, OpenAI 使其专有的 Code Interpreter 插件对 ChatGPT Plus 的所有订阅者都可用。Interpreter 提供了广泛的功能,包括数据分析和解释、即时数据格式化、个人数据科学家服务、创意解决方案、音乐品味分析、视频编辑和文件上传/下载与图像提取。[47]

移动应用[编辑]

2023年5月18日,OpenAI发布适用于iOS平台的ChatGPT APP。APP目前已在App Store美国区上架,未来几周内将扩展至其他国家和地区。适用于Android平台的版本于2023年7月25日推出,Android版ChatGPT目前可在阿根廷、孟加拉国、巴西、加拿大、法国、德国、印度、印度尼西亚、爱尔兰、日本、墨西哥、尼日利亚、菲律宾、韩国、英国和美国下载[48][49][50]

API-软件开发商支持[编辑]

2023年3月,OpenAI推出其ChatGPT和Whisper模型的API, 为开发人员提供支持AI的语言和语音转文本功能的应用程序编程接口。[51][52][53] OpenAI的API由他们的AI模型GPT3.5-turbo提供支持,定价为每1000符号单位(token)0.002美元,比他们现有的GPT模型便宜10倍。[54]

评价[编辑]

正面[编辑]

纽约时报》称其为“有史以来向公众发布的最佳人工智能聊天机器人”[2]。《卫报》的萨曼莎·洛克(Samantha Lock)指出,ChatGPT能生成详细且像是人类撰写的文本[55]亚利桑那州立大学教授丹·吉尔摩要求ChatGPT完成一项他给学生的作业,发现其生成的文本与一个优秀学生会提供的文本相当,他认为“学术界有些非常严重的问题需要面对”[56]。《Slate》杂志的亚历克斯·坎特罗威兹(Alex Kantrowitz)赞扬了ChatGPT对纳粹德国相关问题的回击,例如在面对阿道夫·希特勒在德国修建高速公路的说法时,ChatGPT能指出其为纳粹德国使用强迫劳动所建[57]

OpenAI CEO 山姆·柯曼

大西洋》杂志的德里克·汤普森将ChatGPT列为2022年“年度突破”中的“生成性人工智能爆发”(the generative-AI eruption),称其“可能会改变我们对工作方式、思考方式以及人类创造力的真正含义的想法”[58]

Vox网站的凯尔西·派柏写道:“ChatGPT是普通大众第一次亲身了解现代人工智能变得多么强大”,并称ChatGPT“尽管有缺陷,但其聪明程度足以派上用场”[59]

负面[编辑]

词曲作者尼克·凯夫称 ChatGPT 是“对人性的荒诞嘲弄”[60]

在发布后的几个月里,ChatGPT遭到了来自教师记者艺术家、学者和公众倡导者的广泛而严厉的批评。The Verge网站的詹姆斯·文森特将ChatGPT的病毒式成功视为人工智能已成为主流的证据[61]CBC记者评论称ChatGPT有“幻觉”倾向[62]。在线技术博客Mashable的迈克·珀尔用多条问题测试了ChatGPT,其中一次他问ChatGPT“中美洲墨西哥外最大的国家”是哪个,ChatGPT回答称是危地马拉,而答案是尼加拉瓜[63]。在CNBC向ChatGPT询问《The Ballad of Dwight Fry》的歌词时,ChatGPT给出了完全虚构的歌词[41]。The Verge引用的研究员将ChatGPT比作“随机鹦鹉”[64]澳大利亚机器学习研究所的安东·范登亨格尔教授也给出了类似的观点,称之为“只是简单重复它认为我们想听的话”的鹦鹉[65]

2022年12月,问答网站Stack Overflow禁止用户发布使用ChatGPT生成的答案,理由是ChatGPT的答案虽看似可用,实际上却有很高的错误率[5]。2023年1月,国际机器学习大会禁止在提交的论文中使用ChatGPT或其他大型语言模型来生成任何文本[66]纽约市公立学校禁止师生在校园网及设备使用ChatGPT[67]香港大学禁止师生在课堂、作业和评估中使用ChatGPT或其他AI工具,认定这是抄袭行为。[68]

在《纽约时报》评论文章中,经济学家保罗·克鲁曼写道,ChatGPT将影响对知识工作者的需求[69]诺姆·乔姆斯基伊恩·罗伯兹、杰弗里·瓦图穆尔(Jeffrey Watumull)评价道,“鉴于这些系统的非道德性、伪科学性和语言无能,我们只能为它们的流行而感到哭笑不得”[70]

2023年1月,在收到一首由ChatGPT以尼克·凯夫风格创作的歌曲后[60], 歌曲作者本人在《红手文件》(The Red Hand Files) [71]上回应说,写歌的行为是“一项血腥的事业…… .这需要我的一些东西来发起新的和新鲜的想法。它需要我的人性。” 他继续说,“尽管世界上所有的爱和尊重,这首歌都是胡说八道,是对人性的荒诞嘲弄,而且,好吧,我不太喜欢它。”[60][72]

2023年2月16日,杭州市某小区微信业主群一位业主将ChatGPT写的杭州于2023年3月1日取消限行的新闻稿发到群,杭州其实并未发表3月1日取消限行的措施,群员转发错误信息,错误信息传播开去,最终警方介入调查,涉事业主在微信群里道歉[73]

2023年2月22日,为了验证ChatGPT是否能代替医生问诊,浙江大学医学院附属第一医院精神卫生科医生吕海龙让ChatGPT做一套由中国执业医师考试卷的题目组成的试卷,满分100分,最终ChatGPT的成绩却是57分不及格。[74]

2023年3月31日,意大利隐私保护监管机构表示,由于ChatGPT不重视用户资料,而且无法核实用户年龄,该机构已封锁ChatGPT[75]

2023年5月,美国纽约一名律师利用ChatGPT,为同事处理的诉讼搜集资料,搜索以往相关案例。该名律师曾多次向ChatGPT确认案例的真伪,惟ChatGPT每次均回答案例真实,结果被对家律师揭发,至少6宗案例并不存在,似是伪造。该名律师其后表示,后悔依赖生成式人工智能,此前从未使用该技术搜索案例,不知道ChatGPT提供的内容有可能是假。该名律师最终须接受纪律聆讯。[76]

影响[编辑]

学术界[编辑]

大西洋月刊》的Stephen Marche指出它对学术界,尤其是入学申请论文的影响还有待了解[77]。加州高中教师兼作家丹尼尔·赫尔曼(Daniel Herman)写道,ChatGPT 将迎来“高中英语的终结”。[78]普林斯顿大学的高年级本科生Edward Tian创立了“GPTZero”——基于GitHub Copilot构建的应用程序[79],它可以扫描文本是否由另一AI编写,打击滥用[80][81]

自2023年1月4日起,纽约市教育局已限制从其公立学校互联网和设备浏览ChatGPT[82]

自2023年1月24日起,出版商施普林格·自然规定在其旗下所有期刊的论文中,ChatGPT等大语言模型不能列入作者[83]。同月26日,学术期刊《科学》禁止在论文中使用ChatGPT生成的文本,也禁止将ChatGPT署名为作者。[84]

2023年2月,香港大学计划与AI在教学上的影响在师生中发起讨论,但在此之前决定禁止在港大所有课堂、作业和评估中使用ChatGPT或其他AI工具[85][86]

政府[编辑]

2023年3月31日,意大利政府以涉嫌侵犯隐私为由,宣布禁止使用ChatGPT,展开对OpenAI的调查。ChatGPT已在意大利下架,意大利成为第一个禁止使用ChatGPT的西方国家[87][88]。2023年4月28日,ChatGPT再度能在意大利使用,ChatGPT亦做出部分修改,包含增加年龄认证系统、让用户能得知ChatGPT的隐私政策以及用户能拒绝提供训练算法用的资料[89]

2023年4月10日,日本内阁官房长官松野博一表示,ChatGPT对个人信息的处理方面等问题应得到重视。在这些问题得到有效解决的前提下,将考虑使用ChatGPT减轻公务员的工作负担。[90]

2023年5月10日,有香港立法会议员询问有关ChatGPT未有在开放使用的原因。香港政府则回应尊重个别机构就其产品制订的推出策略及商业安排。[91]

企业界[编辑]

三星电子DS部门于2023年3月11日批准员工使用ChatGPT后,陆续发生数起信息泄露事故。因此,三星电子发布新规,禁止在公司的设备和内部网络上使用生成式人工智能系统。[92]

据《华尔街日报》报道,根据看到的一份文件及知情人士的消息,苹果公司已经限制其员工使用ChatGPT和其他外部AI工具。[93]

教育界[编辑]

ChatGPT-4已在美国律师资格考赢过9成考生,也可以写论文,参加任何升学考试都能考赢多数人,被视为写作业和考试神器。台湾 Google 前董事总经理简立峰,指出 ChatGPT 正在挑战传统式的教育,“ChatGPT 正在挑战我们传统式的教育,我们的教育现场里,把个人发展、差异化发展、学习动机等问题都简化掉了。[94] 因应AI造成的影响,也有许多国家的教师尝试化危机为转机,将 ChatGPT 应用在教学或处理行政工作中。[95]

伦理问题[编辑]

标记数据[编辑]

时代周刊》调查显示,为了建立针对有害内容(例如性虐待、暴力、种族主义、性别歧视等)的安全系统,OpenAI使用每小时收入不到2美元的肯尼亚外判工来标记有害内容。这些标记用于训练模型以在未来检测此类内容。外判工接触到如此有害和危险的内容,以至于他们将这种经历描述为“折磨”。

竞争[编辑]

ChatGPT出现和流行增强了科技公司对该领域的兴趣和竞争。

Bard[编辑]

主条目:Bard (聊天机器人)

2023年2月,Google推出类似于ChatGPT的对话人工智能服务Bard,基于其开发的对话编程语言模型(LaMDA)。Bard于2023年3月21日面向美国和英国用户发布,但有很多限制,文字处理仅支持美式英语[96]

2023年5月10日,Google宣布Bard将支持多国语言及地区[97],除英文外将先提供日语韩语等服务[98]

文心一言[编辑]

主条目:文心一言

百度于2023年2月确认类ChatGPT聊天机器人项目名字确定为文心一言,英文名Ernie Bot。[99]

MOSS[编辑]

2023年2月20日晚间,在一些社交平台上开始传播“复旦大学自然语言处理实验室邱锡鹏教授团队推出对话式大型语言模型MOSS(得名于电影《流浪地球2》中的MOSS)”的消息。[100]一时间该项目官网访问量激增,网站开始返回“{"message":"服务器流量过载,请明天上午重试"}”的提示。2月21日,网站浏览恢复,并且添加了相关情况的说明。[101]

ChatGLM[编辑]

2023年3月14日,由清华技术成果转化的公司智谱 AI 基于GLM-130B千亿基座模型的ChatGLM开启邀请制内测,同时开源了中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用。[102]

通义千问[编辑]

主条目:通义千问

2023年4月7日,阿里云研发语言模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试,获得邀请码用户可通过官网参与体验。[103]

星火[编辑]

2023年5月6日,科大讯飞发布认知大模型“星火”。科大讯飞董事长刘庆峰表示,当前讯飞星火认知大模型已经在文本生成、知识问答、数学能力三大能力上已超ChatGPT,10月底将整体赶超ChatGPT。[104]

Claude[编辑]

2023年3月,由前OpenAI员工共同创立的初创公司Anthropic推出了大型语言模型Claude。它可以被指示执行一系列任务,包括搜索文档,总结,写作和编码,以及回答有关特定主题的问题。在这些方面,它类似于OpenAI的ChatGPT。但Anthropic认为,Claude“不太可能产生有害的输出”,“更容易交谈”和“更容易操纵”。[105][106]

来自  https://zh.wikipedia.org/zh-cn/ChatGPT


普通分类: