字节跳动发布全新开源长文本处理模型 Seed-OSS-36B

近日，字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。这一新模型专注于高级推理和开发者友好性，其最大特点是支持长达 512，000 个 tokens 的输入文本处理，远超美国科技公司如 OpenAI 和 Anthropic 的产品。

Seed-OSS-36B 系列包括三个主要变体:Seed-OSS-36B-Base（含合成数据）、Seed-OSS-36B-Base(不含合成数据)和 Seed-OSS-36B-Instruct。合成数据版本在标准基准测试中表现更为出色，适合一般用途，而不含合成数据的版本则为研究提供了一个更加纯粹的基础。Seed-OSS-36B-Instruct 则专注于任务执行和指令跟随，经过后训练以优化表现。

所有模型均采用 Apache-2.0 许可协议，意味着研究人员和开发者可以免费使用、修改和重新分发这些模型，不需支付字节跳动的许可费用。这标志着中国公司在开放源代码模型领域的又一次重要进展，同时也为国际应用提供了更多可能性。

Seed-OSS-36B 的设计和核心特征包括 36 亿个参数、64 层架构和 155，000 个 tokens 的词汇量。该模型的长文本处理能力和推理预算设置，能够让开发者根据任务复杂性调整模型的推理深度。此外，该模型在多个基准测试中展现了优异的性能，例如，在数学和编程任务上取得了业界领先的成绩。

Seed 团队还特别关注模型的可访问性，用户可以通过 Hugging Face Transformers 进行部署，并支持 4 位和 8 位的量化格式以减少内存需求。此外，团队提供了推理、提示自定义和工具集成的脚本，进一步降低了小团队的操作门槛。

通过提供高性能和灵活部署的开放模型，字节跳动的 Seed 团队为企业、研究人员和开发者带来了新的选择。

以上关于字节跳动发布全新开源长文本处理模型 Seed-OSS-36B的文章就介绍到这了，更多相关内容请搜索码云笔记以前的文章或继续浏览下面的相关文章，希望大家以后多多支持码云笔记。