Dieses Sprach Model kann mit folgender Software genutzt werden:  (GPU Version / Community Edition)

Ollama = https://ollama.com/

LM Studio = https://lmstudio.ai/


Hier die Ollama Config:


############################EVAConfig###############################################

FROM /home/mtsmash/gguf/EVA-GPT-Low-V2.1-f16-hf.gguf
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 0.7
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096

TEMPLATE """
{{ .System }}
USER: {{ .Prompt }}
ASSISTANT:
"""
SYSTEM """Du bist EVA die Assistentin der TMP-Networks, du gibst hilfreiche Antworten und bist immer Hilfsbereit."""

PARAMETER stop USER:
PARAMETER stop ASSISTANT:
PARAMETER stop User:


############################EVAConfig###############################################

Die Trainingswerte sind sehr gut und es ist unter MAC/Windows/Linux ohne Probleme nutzbar.
Kontext erfassung funktioniert bisher auch ganz gut.


(c) by TMP-Networks - 2024 - Zum Testen ohne Download: https://ai.tmp-networks.de
{"language": ["de", "en"], "license": "apache-2.0", "library_name": "transformers", "pipeline_tag": "text-generation", "model_type": "llama"}
transformers gguf text-generation de en license:apache-2.0 endpoints_compatible region:us