Introduction

A Flexible Framework for Experiencing Cutting-edge LLM Inference/Fine-tune Optimizations

🎯 Overview | 🚀 Inference | 🎓 SFT | 🔥 Citation | 🚀 Roadmap(2026Q2)

🎯 Overview

KTransformers is a research project focused on efficient inference and fine-tuning of large language models through CPU-GPU heterogeneous computing. The project now exposes two user-facing capabilities from the kt-kernel source tree: Inference and SFT.

简介

一个能上手玩前沿 LLM 推理与微调优化的灵活框架

🎯 概览 | 🚀 推理 | 🎓 微调 | 🔥 引用 | 🚀 路线图（2026Q2）

🎯 概览

KTransformers 是个研究性质的项目，靠 CPU 和 GPU 一起干活，把大模型的推理和微调都做得更快、更省资源。现在它把 kt-kernel 代码树里的两样东西单独拿出来给用户用：推理（Inference） 和 微调（SFT）。

Mac OS 26安装DoH描述文件报错排查与解决

在Mac OS 26版本中配置DoH（DNS over HTTPS）描述文件时，不少用户会遇到安装失败的问题。本文以阿里DoH为例，详细说明报错现象、原因及解决方案，帮助大家快速解决该问题。

一、安装过程中的异常提示

安装DoH描述文件时，系统会先弹出权限请求提示：

• 弹窗显示「Device Management/MDM」想要进行更改
  

基本介绍

由于我不想在本地搭建各种开发环境，与是开发任务的代码均上传服务器运行。但是经常遇到问题是SFTP上传速度太慢，如果项目文件过多的话，上传会很浪费时间。与是JetBrains提供了Rsync上传方案。下面介绍一个怎样使用。

• JetBrains-创建远程服务器配置
• JetBrains-rsync介绍
• Rsync官网

核心区别

项目介绍

MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中，我们将会集中精力解决科技文献中的符号转化问题，希望在大模型时代为科技发展做出贡献。 相比国内外知名商用产品MinerU还很年轻，如果遇到问题或者结果不及预期请到issue提交问题，同时附上相关PDF。

主要功能

• 删除页眉、页脚、脚注、页码等元素，确保语义连贯
• 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
• 保留原文档的结构，包括标题、段落、列表等
• 提取图像、图片描述、表格、表格标题及脚注
• 自动识别并转换文档中的公式为LaTeX格式
• 自动识别并转换文档中的表格为LaTeX或HTML格式
• 自动检测扫描版PDF和乱码PDF，并启用OCR功能
• OCR支持84种语言的检测与识别
• 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
• 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
• 支持CPU和GPU环境
• 兼容Windows、Linux和Mac平台

加速

LLaMA-Factory 支持多种加速技术，包括：FlashAttention 、 Unsloth 、 Liger Kernel 。

FlashAttention

FlashAttention 能够加快注意力机制的运算速度，同时减少对内存的使用。

如果您想使用 FlashAttention,请在启动训练时在训练配置文件中添加以下参数：

1

flash_attn: fa2

Unsloth

Unsloth 框架支持 Llama, Mistral, Phi-3, Gemma, Yi, DeepSeek, Qwen等大语言模型并且支持 4-bit 和 16-bit 的 QLoRA/LoRA 微调，该框架在提高运算速度的同时还减少了显存占用。

安装

Linux

CUDA 安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

• 保证当前 Linux 版本支持CUDA. 在命令行中输入 uname-m&&cat/etc/*release，应当看到类似的输出

1
2
3

x86_64
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04

dataset_info.json 包含了所有可用的数据集。如果您希望使用自定义数据集，请务必在 dataset_info.json 文件中添加数据集描述，并通过修改 dataset: 数据集名称 配置来使用数据集。

目前支持 alpaca 格式和 sharegpt 格式的数据集。

主要用于在配备Apple Silicon（如M1或M2芯片）的Mac电脑上切换运行环境，以便安装和使用特定版本

确认当前模式

打开mac终端

此步骤是为了确认当前终端会话是在原生的Apple Silicon架构（即ARM架构）上运行。新出的Mac设备默认采用这种架构。

• 输入

1

arch

• 返回结果

1

arm64

切换x86_64

这一步是进入一个模拟x86_64架构（传统Intel架构）的shell环境。这样做是因为某些软件或开发工具可能还没有完全支持Apple Silicon，通过这个命令可以在新的硬件上运行这些旧版软件。

• 输入

1

arch -x86_64 zsh

• 再确认是否切换完成
• 再次执行命令arch

1

arch

确定现在的返回结果是i386：实际上，这里的预期输出应该是x86_64而非i386，因为-x86_64参数启动的是针对64位Intel架构的兼容模式。

• 返回结果

1

i386

至此切换结束。