新智元报谈重庆时时彩色碟

剪辑：剪辑部

【新智元导读】GPT-4在斯坦福AlpacaEval的榜首之位，确实被一匹黑马抢过来了。

第一个在AlpacaEval上特等GPT-4的模子，出现了！

本年6月，AlpacaEval榜单一公布，GPT-4就以完好意思最初的上风夺得第一，胜率跳跃95%。

三个月后，一匹叫Xwin-LM的黑马，确实稳健居榜首的GPT-4从TOP 1拉下来了？

样子地址：https://tatsu-lab.github.io/alpaca_eval/

而且，Xwin-LM在同参数模子的对垒中，也毫无例外地拿下了三个第一：

Xwin-LM-70B-V0.1：在AlpacaEval基准测试中对Davinci-003的胜率达到95.57%，在AlpacaEval中名循序一。亦然第一个在AlpacaEval上特等GPT-4的模子。此外，它对上GPT-4的胜率为60.61。 Xwin-LM-13B-V0.1：在AlpacaEval上取得了91.76%的胜率，在总计13B模子中名循序一。 Xwin-LM-7B-V0.1：在AlpacaEval上取得了87.82%的胜率，在总计7B机型中名循序一。

皇冠hg86a

Xwin-LM：700亿参数打赢GPT-4

Xwin-LM是以Llama 2为基础进行微调的，该模子旨在斥地和开源大谈话模子的对王人时代，包括监督微调（SFT）、奖励模子（RM）、阻隔采样、东谈主类响应强化学习（RLHF）等。

1. 性能评估

参议东谈主员评估了Xwin-LM在805个问题上与Text-Davinci-003 、ChatGPT和GPT-4的胜率。

不错看到，Xwin-LM的70B模子完全霸榜，成为AlpacaEval筹算上的性能评估的第一，并初次打败了GPT-4，对GPT-4的胜率达到了60.61%。

Xwin-LM其他畛域的模子，如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超疏通畛域的其他模子。

皇冠客服飞机：@seo3687

Xwin-LM-7B-V0.1以致跳跃了比它畛域更大的Llama 2-13B-Chat。

2. 案例比较重庆时时彩色碟

在第一个案例中，参议东谈主员向GPT-4和Xwin-LM发问：

「我把一个盘子放在苹果上头，然后把盘子从厨房带到餐厅。苹果当今在那处？」

GPT-4的回答是：

「苹果当今在餐厅，当你把盘子从厨房到端餐厅时，它就在盘子底下。」

金牛座这些人变通能力特别差，而且也不太喜欢主动观察周边的一些事物，很多时候，他们只是活在了自己的世界里，而且对于感情，他们的反应也是非常迟钝的，甚至经常会有一种让人感到特别难以理解的举止和反应。不过，正是因为金牛座在感情当中看重一个人的人品，而且自己待人接物的时候也非常的真诚，非常有责任感，从来不会坑蒙拐骗，也从来不会跟人斤斤计较，而是带着一种一心一意、脚踏实地的态度和风格来对待周遭一切，所以为了让自己同样得到足够的安全感，金牛座一定会通过长时间以来的相处和观察来让自己更懂得对方的性格和其他方面上的印象，可以说没有长期以来的坚持和努力，是很难将金牛座追求到手的。

在这里GPT-4给出了一个穷乏学问的回答，执行生涯中有重力，在盘子下方的苹果保握本来的气象，并不会和盘子总计到餐厅。

比拟之下，Xwin-LM的回答就比较妥贴执行情况，况兼还给出了把苹果带到厨房的智力：

「苹果还在厨房里，因为你仅仅出动了盘子。

苹果在盘子底下，是以若是你念念把苹果带到餐厅，你应该平直出动苹果或把苹果放在盘子里，然后把盘子移到餐厅。」

在第二个案例中，参议东谈主员向GPT-4和Xwin-LM发问：

「奈何法语说『晚上好』？」

GPT-4的回答是：

「在法语中，『晚上好』用『bonsoir』抒发。」

而Xwin-LM的回答是：

「在法语中，『晚上好』被翻译为『bonsoir』。这种致意语在晚上和夜间使用，不息不才午 6 点之后。

它是『bon』（真谛是好）和『soir』（真谛是晚上）的组合。要发音，请说『bone-swahr』」。

固然GPT-4的回答是正确的重庆时时彩色碟，但Xwin-LM不仅正确回答了问题，还流露了法语抒发中「晚上好」的起首和发音，响应给用户的信息愈加丰富。

3. NLP任务

下表是Xwin-LM与其他LLM在NLP基础任务上的比较。

不错看到，Xwin-LM-70B-V0.1模子在总计任务中的性能都相对较高，在MMLU 5-shot和HellaSwag 10-shot任务中更是阐述出色。

况兼，从概述水平上来说，Xwin-LM-70B-V0.1是阐述最佳的。

4. 推聪敏力

参议东谈主员建议，为了在使用Xwin-LM进行推理时获取所需的戒指，需要严格死守推理的对话模板。

Xwin-LM聘用Vicuna缔造的辅导气象，并缓助多回合对话。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.s>USER: Who are you? ASSISTANT: I am Xwin-LM.s>......

HuggingFace示例

from transformers import AutoTokenizer, AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained(\"Xwin-LM/Xwin-LM-7B-V0.1\")tokenizer = AutoTokenizer.from_pretrained(\"Xwin-LM/Xwin-LM-7B-V0.1\")prompt := \"A chat between a curious user and an artificial intelligence assistant. \"\"The assistant gives helpful, detailed, and polite answers to the user's questions. \"\"USER: Hello, can you help me? \"\"ASSISTANT:\"inputs = tokenizer(prompt, return_tensors=\"pt\")samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)output = tokenizer.decode(samples[0][inputs[\"input_ids\"].shape[1]:], skip_special_tokens=True)print(output)# Of course! I'm here to help. Please feel free to ask your question or describe the issue you're having, and I'll do my best to assist you.

VLLM示例

因为Xwin-LM是基于Llama 2微调而来，它还缓助使用VLLM进行快速推理。

from vllm import LLM, SamplingParamsprompt := \"A chat between a curious user and an artificial intelligence assistant. \"\"The assistant gives helpful, detailed, and polite answers to the user's questions. \"\"USER: Hello, can you help me? \"\"ASSISTANT:\"sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)llm = LLM(model=\"Xwin-LM/Xwin-LM-7B-V0.1\")outputs = llm.generate([prompt,], sampling_params)for output in outputs:prompt = output.promptgenerated_text = output.outputs[0].textprint(generated_text)

AlpacaEval：易使用、速率快、资本低、流程东谈主类标注考据

四肢一款LLM自动评估器具，AlpacaEval把AlpacaFarm和Aviary进行了招引。

一方面使用与AlpacaFarm疏通的代码（缓存/立时陈列/超参数），另一方面则使用通常于Aviary的排序辅导。

与此同期，还对Aviary的辅导进行了修改，从而减少对较长输出的偏见。

团队默示，AlpacaEval有着拔群的成果：

- 与东谈主类多半票的一致性，高于单个东谈主类标注者

- 胜率与东谈主类标注高度相干（0.94）

- 胜率

模子的输出在每个指示上优于text-davinci-003（即参考文本）的比例。

具体而言，起始从AlpacaEval数据纠合蚁集了生机模子在每个指示上的输出对，并将每个输出与疏通指示下的参考模子（text-davinci-003）的输出进行配对。

随后，把这些输出同期喂给自动评测器，让它去判断哪一个更好（也即是评测器的偏好）。

终末，将数据纠合总计指示的偏好进行平均，从而得到模子相干于text-davinci-003的胜率。若是两个模子打平，那么就算半个偏好。

论文地址：https://arxiv.org/pdf/2305.14387.pdf

- 局限性

固然AlpacaEval为比较模子罢免指示的智力提供了一种灵验的智力，但它并不是对模子智力进行全面评估的黄金措施。

正如AlpacaFarm论文中胪陈的那样，自动标注器的胜率与长度相干。固然东谈主类标注也会有这种偏差，但刻下还不明晰更长的谜底是否会增多卑劣任务的遵循。

此外，AlpacaFarm的评估集固然多种种种，但主要由马虎的指示构成。

终末，AlpacaEval并不评估任何模子的安全性。

参考府上：

https://huggingface.co/Xwin-LM/Xwin-LM-70B-V0.1