Ktransformers

🎉 Introduction

KTransformers, pronounced as Quick Transformers, is designed to enhance your 🤗 Transformers experience with advanced kernel optimizations and placement/parallelism strategies.

KTransformers is a flexible, Python-centric framework designed with extensibility at its core. By implementing and injecting an optimized module with a single line of code, users gain access to a Transformers-compatible interface, RESTful APIs compliant with OpenAI and Ollama, and even a simplified ChatGPT-like web UI.

Our vision for KTransformers is to serve as a flexible platform for experimenting with innovative LLM inference optimizations. Please let us know if you need any other features.

项目介绍

MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中，我们将会集中精力解决科技文献中的符号转化问题，希望在大模型时代为科技发展做出贡献。 相比国内外知名商用产品MinerU还很年轻，如果遇到问题或者结果不及预期请到issue提交问题，同时附上相关PDF。

主要功能

• 删除页眉、页脚、脚注、页码等元素，确保语义连贯
• 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
• 保留原文档的结构，包括标题、段落、列表等
• 提取图像、图片描述、表格、表格标题及脚注
• 自动识别并转换文档中的公式为LaTeX格式
• 自动识别并转换文档中的表格为LaTeX或HTML格式
• 自动检测扫描版PDF和乱码PDF，并启用OCR功能
• OCR支持84种语言的检测与识别
• 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
• 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
• 支持CPU和GPU环境
• 兼容Windows、Linux和Mac平台

加速

LLaMA-Factory 支持多种加速技术，包括：FlashAttention 、 Unsloth 、 Liger Kernel 。

FlashAttention

FlashAttention 能够加快注意力机制的运算速度，同时减少对内存的使用。

如果您想使用 FlashAttention,请在启动训练时在训练配置文件中添加以下参数：

1

flash_attn: fa2

Unsloth

Unsloth 框架支持 Llama, Mistral, Phi-3, Gemma, Yi, DeepSeek, Qwen等大语言模型并且支持 4-bit 和 16-bit 的 QLoRA/LoRA 微调，该框架在提高运算速度的同时还减少了显存占用。

安装

Linux

CUDA 安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

• 保证当前 Linux 版本支持CUDA. 在命令行中输入 uname-m&&cat/etc/*release，应当看到类似的输出

1
2
3

x86_64
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04

dataset_info.json 包含了所有可用的数据集。如果您希望使用自定义数据集，请务必在 dataset_info.json 文件中添加数据集描述，并通过修改 dataset: 数据集名称 配置来使用数据集。

目前支持 alpaca 格式和 sharegpt 格式的数据集。

主要用于在配备Apple Silicon（如M1或M2芯片）的Mac电脑上切换运行环境，以便安装和使用特定版本

确认当前模式

打开mac终端

此步骤是为了确认当前终端会话是在原生的Apple Silicon架构（即ARM架构）上运行。新出的Mac设备默认采用这种架构。

• 输入

  1

  arch

• 返回结果

  1

  arm64

切换x86_64

这一步是进入一个模拟x86_64架构（传统Intel架构）的shell环境。这样做是因为某些软件或开发工具可能还没有完全支持Apple Silicon，通过这个命令可以在新的硬件上运行这些旧版软件。

• 输入

  1	arch -x86_64 zsh

• 再确认是否切换完成
• 再次执行命令arch

  1

  arch

确定现在的返回结果是i386：实际上，这里的预期输出应该是x86_64而非i386，因为-x86_64参数启动的是针对64位Intel架构的兼容模式。

• 返回结果

  1

  i386

  至此切换结束。

使用PHP配合ffmpeg计算远程视频时长

安装 ffmpeg

debian

1

sudo apt install ffmpeg

centos

1
2

sudo yum install epel-release
sudo yum install ffmpeg ffmpeg-devel