AI工具

airllm

lyogavin/airllm

通过逐层卸载技术让70B至671B大模型在单块小显存GPU上推理运行的低显存推理库。

标签

  • chinese-llm
  • chinese-nlp
  • finetune
  • generative-ai
  • instruct-gpt
  • instruction-set
  • llama
  • llm