Open-Wheights Modelle und ihre Verwendung

Hausarbeit von Jonas Kuhlenkamp

Mit dieser App kann man lokale KI-Modelle mit Ollama testen und ausprobieren.

Für die Benutzung dieser App ist eine funktionierende Ollama Instanz notwendig.

Beim Start der App muss ein Ollama API Endpunkt konfiguriert werden (standardmäßig http://localhost:11434/). Danach kann die App benutzt werden. Es gibt 5 verschiedene Seiten:

1. Modelle runterladen: Anleitung zu "ollama pull"
2. Embedding-Modelle: Grafische Veranschaulichung der Embeddings
3. "Normale Modelle": Normales Prompt-Fenster
4. Context Window einstellen: Anleitung zum Einstellen des Context Windows.
5. Modell bearbeiten: Fenster zum Bearbeiten von System Prompt und Prompt Template.

Quellen

Die Veranschaulichung der Embedding-Modelle kommt von: https://vectorwiki.com/tools/embedding-visualizer

Sonstige Libraries:

• Vite
• Vue
• Tauri
• ollama-rs
• Lucide Icons