根据以往的研究，高质量的数据在机器学习任务的培训中非常重要。在LLMS预训练中，通常采用质量保证技术，通常构成数据管理流水线，包括重量去除、质量过滤和毒性过滤。社会偏见、数据多样性和数据年龄也是研究领域的一个有趣主题。
本文首次试图总结LLMS培训中的数据管理。我们依次讨论了LLM的预训练和监督微调阶段，总结了数据数量、数据质量、领域/任务组成的最新研究工作。
我们还讨论了预培训阶段的数据管理系统和监督微调阶段的数据高效学习。最后，我们强调了LLM培训数据管理的一些挑战和未来的方向。我们希望这项调查能为从业者提供深入的指导，并刺激对LLM发展中有效高效数据管理的进一步研究。
在本节中，首先回顾培训数据收缩放置定律的研究，包括有/无数据重复。然后，讨论了数据质量，包括重量去除、质量过滤、毒性过滤、社会偏见、数据多样性和年龄。之后，讨论了领域组成和领域重新加权的方法。最后，介绍了实施预培训数据管理流程的两个数据管理系统。
有效的数据管理，特别是在构建适用的培训数据集方面，对提高模型性能和在预培训和监督微调阶段提高培训效率具有重要意义。虽然数据管理非常重要，但当前的研究社区仍然缺乏提供管理策略、选择系统分析背后、后果影响、评估和规划数据集的方法以及改进策略的不懈追求。
同时，多变的需求也使人工维护数据目录的方式不可持续，因为ETL工程师的数量和能力远远不能赶上数据需求和需求复杂性的增长。此时，我们必须面对失真的数据目录和无效的数据管理。
值得一提的是，数据编织作为一种新兴的技术趋势和数据管理理念，在国内市场仍处于起步阶段，在市场认知和接受方面仍有很大的空间。Aloudata管理团队也承认，目前的工作仍然具有挑战性。无论是市场认知和教育，还是应用成果的推广和扩大，都需要不断的探索和努力。我相信这些努力将带来长期的成果。记者注意到，近年来，包括Aloudata在内的许多具有数据背景的国内团队开始围绕数据编织理念在中国的实施进行创业探索。这条路能否通过还有待验证。
1.2数据一致性：编码解决方案可以保证数据的一致性和准确性，避免重复记录和错误的数据输入，提高数据管理的可靠性。