27 lines
1.0 KiB
Markdown
27 lines
1.0 KiB
Markdown
# Open-Wheights Modelle und ihre Verwendung
|
|
## Hausarbeit von Jonas Kuhlenkamp
|
|
Mit dieser App kann man lokale KI-Modelle mit Ollama testen und ausprobieren.
|
|
|
|
Für die Benutzung dieser App ist eine funktionierende Ollama Instanz notwendig.
|
|
|
|
Beim Start der App muss ein Ollama API Endpunkt konfiguriert werden (standardmäßig http://localhost:11434/).
|
|
Danach kann die App benutzt werden. Es gibt 5 verschiedene Seiten:
|
|
|
|
1. Modelle runterladen: Anleitung zu "ollama pull"
|
|
2. Embedding-Modelle: Grafische Veranschaulichung der Embeddings
|
|
3. "Normale Modelle": Normales Prompt-Fenster
|
|
4. Context Window einstellen: Anleitung zum Einstellen des Context Windows.
|
|
5. Modell bearbeiten: Fenster zum Bearbeiten von System Prompt und Prompt Template.
|
|
|
|
|
|
## Quellen
|
|
|
|
Die Veranschaulichung der Embedding-Modelle kommt von: https://vectorwiki.com/tools/embedding-visualizer
|
|
|
|
Sonstige Libraries:
|
|
- [Vite](https://vite.dev)
|
|
- [Vue](https://vuejs.org)
|
|
- [Tauri](https://tauri.app)
|
|
- [ollama-rs](https://crates.io/crates/ollama-rs)
|
|
- [Lucide Icons](https://lucide.dev)
|