# GLM4-9b-win

**Repository Path**: miuser00/glm4-9b-win

## Basic Information

- **Project Name**: GLM4-9b-win
- **Description**: 清华智谱的GLM4性能出众，但在windows环境下没有提供与chatGPT兼容的openAI接口，这个小开源项目就是干这个的。支持简单对话，与工具链支持。
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2024-12-24
- **Last Updated**: 2025-02-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# openAI API for GLM4 on Win Platform

## 项目简介

清华智谱的GLM4性能出众，但在windows环境下没有提供与chatGPT兼容的openAI接口，这个小开源项目实现了该功能，包括简单对话与工具链的支持。
![](intro.gif)
## 程序结构
这个程序基于GLM4原有的demo完成，主要是将VLLM推理改为了Transformer推理，这是由于Windows环境下没有提供VLLM的程序包。提供的C#客户端源码可以用于测试端口可用性。

##目录结构

app_bin， 二进制文件目录
MChatGLM4Client， C#客户端源码
toolchain， 工具链插件二进制目录
toolchain_stock， 工具链插件源码
run.bat， 一键运行

##设备需求
本程序自带Python环境与大模型包，但需要您拥有一张不小于12G显存的英伟达显卡，并预先安装好带有Cuda 11.2的显卡驱动。

## 一键运行整合包下载地址
https://www.123865.com/s/WW6cTd-NxWp3提取码:XvZZ

运行遇到问题可以加QQ群 750817170