Bemerkung

Hallo, willkommen in der SunFounder Raspberry Pi & Arduino & ESP32 Enthusiasten-Community auf Facebook! Tauchen Sie mit anderen Enthusiasten tiefer in Raspberry Pi, Arduino und ESP32 ein.

Warum beitreten?

• Expertenunterstützung: Lösen Sie Probleme nach dem Kauf und technische Herausforderungen mit Hilfe unserer Community und unseres Teams.

• Lernen & Teilen: Tauschen Sie Tipps und Tutorials aus, um Ihre Fähigkeiten zu verbessern.

• Exklusive Vorschauen: Erhalten Sie frühzeitigen Zugang zu neuen Produktankündigungen und Sneak Peeks.

• Sonderrabatte: Genießen Sie exklusive Rabatte auf unsere neuesten Produkte.

• Festliche Aktionen und Gewinnspiele: Nehmen Sie an Gewinnspielen und Feiertagsaktionen teil.

👉 Bereit, mit uns zu entdecken und zu gestalten? Klicken Sie auf [here] und treten Sie noch heute bei!

5. Verbindung mit Online-LLMs

In dieser Lektion lernen wir, wie Sie Ihr Fusion HAT+ (oder Ihren Raspberry Pi) mit verschiedenen Online-Large-Language-Models (LLMs) verbinden. Jeder Anbieter benötigt einen API-Schlüssel und bietet unterschiedliche Modelle zur Auswahl an.

Wir behandeln dabei Schritt für Schritt:

• wie Sie Ihre API-Schlüssel sicher erstellen und speichern,

• wie Sie ein Modell auswählen, das zu Ihren Anforderungen passt,

• wie Sie unseren Beispielcode ausführen, um mit den Modellen zu chatten.

Gehen wir die einzelnen Anbieter nacheinander durch.

---

OpenAI

OpenAI bietet leistungsstarke Modelle wie GPT-4o und GPT-4.1, die sowohl für Text- als auch für Vision-Aufgaben verwendet werden können.

So richten Sie es ein:

API-Schlüssel erstellen und speichern

1. Gehen Sie zu OpenAI Platform und melden Sie sich an. Klicken Sie auf der Seite API keys auf Create new secret key.

   

2. Füllen Sie die Angaben aus (Owner, Name, Project und gegebenenfalls Berechtigungen) und klicken Sie dann auf Create secret key.

   

3. Sobald der Schlüssel erstellt wurde, kopieren Sie ihn sofort — später wird er nicht noch einmal angezeigt. Falls Sie ihn verlieren, müssen Sie einen neuen erstellen.

   

4. Erstellen Sie in Ihrem Projektordner (zum Beispiel: /) eine Datei mit dem Namen secret.py:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

5. Fügen Sie Ihren Schlüssel wie folgt in die Datei ein:

   # secret.py
   # Store secrets here. Never commit this file to Git.
   OPENAI_API_KEY = "sk-xxx"
   

Abrechnung aktivieren und Modelle prüfen

1. Bevor Sie den Schlüssel verwenden, öffnen Sie in Ihrem OpenAI-Konto die Seite Billing, hinterlegen Sie Ihre Zahlungsdaten und laden Sie ein kleines Guthaben auf.

   

2. Wechseln Sie anschließend zur Seite Limits, um zu prüfen, welche Modelle für Ihr Konto verfügbar sind, und kopieren Sie die genaue Modell-ID für die Verwendung im Code.

   

Mit Beispielcode testen

1. Öffnen Sie unseren Beispielcode:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" in das gewünschte Modell (zum Beispiel gpt-4o):

   from fusion_hat.llm import OpenAI
   from secret import OPENAI_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = OpenAI(
      api_key=OPENAI_API_KEY,
      model="gpt-4o",
   )
   

   Speichern Sie die Datei und beenden Sie den Editor (Ctrl+X, dann Y, dann Enter).

3. Führen Sie abschließend den Test aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

---

Gemini

Gemini ist Googles Familie von AI-Modellen. Sie ist schnell und eignet sich hervorragend für allgemeine Aufgaben.

API-Schlüssel erstellen und speichern

1. Melden Sie sich bei Google AI Studio an und gehen Sie anschließend zur Seite API Keys.

   

2. Klicken Sie oben rechts auf die Schaltfläche Create API key.

   

3. Sie können einen Schlüssel für ein bestehendes Projekt oder für ein neues Projekt erstellen.

   

4. Kopieren Sie den generierten API-Schlüssel.

   

5. Wechseln Sie in Ihren Projektordner:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

6. Fügen Sie den Schlüssel ein:

    # secret.py
    # Store secrets here. Never commit this file to Git.
   GEMINI_API_KEY = "AIxxx"
   

Verfügbare Modelle prüfen

Gehen Sie zur offiziellen Seite Gemini Models. Dort finden Sie eine Liste der Modelle, deren genaue API-IDs sowie die jeweiligen Einsatzbereiche.

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" auf das gewünschte Modell (zum Beispiel gemini-2.5-flash):

   from fusion_hat.llm import Gemini
   from secret import GEMINI_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = Gemini(
      api_key=GEMINI_API_KEY,
      model="gemini-2.5-flash",
   )
   

3. Speichern Sie die Datei und führen Sie sie aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

---

Qwen

Qwen ist eine Familie großer Sprach- und multimodaler Modelle von Alibaba Cloud. Diese Modelle unterstützen Textgenerierung, logisches Schlussfolgern und multimodales Verständnis (z. B. Bildanalyse).

API-Schlüssel erstellen

Um Qwen-Modelle aufzurufen, benötigen Sie einen API Key. Die meisten internationalen Benutzer sollten die DashScope International (Model Studio) Konsole verwenden. Benutzer in Festlandchina können stattdessen die Bailian (百炼) Konsole verwenden.

• Für internationale Benutzer

  1. Öffnen Sie die offizielle Seite Get API Key auf Alibaba Cloud.

  2. Melden Sie sich an oder erstellen Sie ein Alibaba Cloud-Konto.

  3. Navigieren Sie zu Model Studio (Region Singapore oder Beijing auswählen).

     • Wenn oben auf der Seite eine Meldung „Activate Now“ erscheint, klicken Sie darauf, um Model Studio zu aktivieren und das kostenlose Kontingent zu erhalten (nur Singapore).

     • Die Aktivierung ist kostenlos — Kosten entstehen erst, wenn das kostenlose Kontingent aufgebraucht ist.

     • Wenn keine Aktivierungsmeldung erscheint, ist der Dienst bereits aktiv.

  4. Öffnen Sie die Seite Key Management. Klicken Sie im Tab API Key auf Create API Key.

  5. Kopieren Sie den API-Schlüssel nach der Erstellung und bewahren Sie ihn sicher auf.

  

  Bemerkung

  Benutzer aus Hongkong, Macau und Taiwan sollten ebenfalls die Option International (Model Studio) wählen.

• Für Benutzer in Festlandchina

  Wenn Sie sich in Festlandchina befinden, können Sie stattdessen die Alibaba Cloud Bailian (百炼) Konsole verwenden:

  1. Melden Sie sich bei Bailian console (Bailian-Konsole) an und führen Sie die Kontoverifizierung durch.

  2. Wählen Sie Create API Key. Wenn eine Meldung erscheint, dass Modellservices nicht aktiviert sind, klicken Sie auf Activate, stimmen Sie den Bedingungen zu und aktivieren Sie das kostenlose Kontingent. Danach wird die Schaltfläche Create API Key verfügbar.

     

  3. Klicken Sie erneut auf Create API Key, überprüfen Sie Ihr Konto und klicken Sie anschließend auf Confirm.

     

  4. Nach der Erstellung kopieren Sie Ihren API-Schlüssel.

     

API-Schlüssel speichern

1. Wechseln Sie in Ihren Projektordner:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

2. Fügen Sie Ihren Schlüssel wie folgt ein:

   # secret.py
   # Store secrets here. Never commit this file to Git.
   
   QWEN_API_KEY = "sk-xxx"
   

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" auf das gewünschte Modell (zum Beispiel qwen-plus):

   from fusion_hat.llm import Qwen
   from secret import QWEN_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = Qwen(
      api_key=QWEN_API_KEY,
      model="qwen-plus",
   )
   

3. Führen Sie das Programm aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

Grok (xAI)

Grok ist die konversationelle AI von xAI, entwickelt vom Team um Elon Musk. Sie können über die xAI API darauf zugreifen.

API-Schlüssel erstellen und speichern

1. Registrieren Sie sich hier: xAI Cloud Console. Laden Sie zunächst Guthaben auf Ihr Konto — andernfalls funktioniert die API nicht.

2. Öffnen Sie die Seite API Keys und klicken Sie auf Create API key.

   

3. Geben Sie einen Namen für den Schlüssel ein und klicken Sie anschließend auf Create API key.

   

4. Kopieren Sie den generierten Schlüssel und bewahren Sie ihn sicher auf.

   

5. Wechseln Sie in Ihren Projektordner:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

6. Fügen Sie Ihren Schlüssel wie folgt ein:

   # secret.py
   # Store secrets here. Never commit this file to Git.
   
   GROK_API_KEY = "xai-xxx"
   

Verfügbare Modelle prüfen

Gehen Sie zur Seite Models in der xAI-Konsole. Dort sehen Sie alle Modelle, die für Ihr Team verfügbar sind, zusammen mit ihren genauen API-IDs — verwenden Sie diese IDs in Ihrem Code.

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" auf das gewünschte Modell (zum Beispiel grok-4-latest):

   from fusion_hat.llm import Grok
   from secret import GROK_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = Grok(
      api_key=GROK_API_KEY,
      model="grok-4-latest",
   )
   

3. Führen Sie das Programm aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

---

DeepSeek

DeepSeek ist ein chinesischer LLM-Anbieter, der leistungsfähige Modelle zu vergleichsweise niedrigen Kosten anbietet.

API-Schlüssel erstellen und speichern

1. Melden Sie sich bei Deepseek Platform an.

2. Wählen Sie im Menü oben rechts API Keys → Create API Key.

   

3. Geben Sie einen Namen ein, klicken Sie auf Create und kopieren Sie anschließend den Schlüssel.

   

4. Wechseln Sie in Ihren Projektordner:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

5. Fügen Sie Ihren Schlüssel hinzu:

   # secret.py
   DEEPSEEK_API_KEY = "sk-xxx"
   

Abrechnung aktivieren

Sie müssen Ihr Konto zunächst aufladen. Beginnen Sie am besten mit einem kleinen Betrag (z. B. ¥10 RMB).

Verfügbare Modelle

Zum Zeitpunkt der Erstellung (2025-09-12) bietet DeepSeek folgende Modelle an:

• deepseek-chat

• deepseek-reasoner

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" auf das gewünschte Modell (zum Beispiel deepseek-chat):

   from fusion_hat.llm import Deepseek
   from secret import DEEPSEEK_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = Deepseek(
      api_key=DEEPSEEK_API_KEY,
      model="deepseek-chat",
      max_messages=20,
   )
   

3. Führen Sie das Programm aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

---

Doubao

Doubao ist die AI-Modellplattform von ByteDance (Volcengine Ark).

API-Schlüssel erstellen und speichern

1. Melden Sie sich bei Volcengine an.

2. Scrollen Sie im linken Menü nach unten zu API Key Management → Create API Key.

   

3. Wählen Sie einen Namen und klicken Sie auf Create.

   

4. Klicken Sie auf das Symbol Show API Key und kopieren Sie den Schlüssel.

   

5. Wechseln Sie in Ihren Projektordner:

   cd ~/ai-lab-kit/llm
   sudo nano secret.py
   

6. Fügen Sie Ihren Schlüssel hinzu:

   # secret.py
   DOUBAO_API_KEY = "xxx"
   

Modell auswählen

1. Gehen Sie zum Model-Marketplace und wählen Sie ein Modell aus.

   

2. Wählen Sie zum Beispiel Doubao-seed-1.6 und klicken Sie anschließend auf API 接入.

   

3. Wählen Sie Ihren API-Key aus und klicken Sie auf Use API.

   

4. Klicken Sie auf Enable Model.

   

5. Bewegen Sie den Mauszeiger über die Modell-ID, um sie zu kopieren.

   

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm
   sudo nano llm_test.py
   

2. Ersetzen Sie den Inhalt durch den folgenden Code und ändern Sie model="xxx" auf das gewünschte Modell (zum Beispiel doubao-seed-1-6-250615):

   from fusion_hat.llm import Doubao
   from secret import DOUBAO_API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = Doubao(
      api_key=DOUBAO_API_KEY,
      model="doubao-seed-1-6-250615",
   )
   

3. Führen Sie das Programm aus:

   sudo python3 llm_test.py
   

Jetzt können Sie direkt im Terminal mit Fusion HAT+ chatten.

General

Dieses Projekt unterstützt die Verbindung zu mehreren LLM-Plattformen über eine einheitliche Schnittstelle. Integriert sind derzeit:

• OpenAI (ChatGPT / GPT-4o, GPT-4, GPT-3.5)

• Gemini (Google AI Studio / Vertex AI)

• Grok (xAI)

• DeepSeek

• Qwen (通义千问)

• Doubao (豆包)

Darüber hinaus können Sie jeden anderen LLM-Dienst verwenden, der mit dem OpenAI-API-Format kompatibel ist. Für solche Plattformen müssen Sie Ihren API-Key und die korrekte base_url manuell konfigurieren.

API-Schlüssel erstellen und speichern

1. Besorgen Sie sich einen API-Key von der Plattform, die Sie verwenden möchten. (Weitere Informationen finden Sie in der jeweiligen offiziellen Konsole.)

2. Erstellen Sie in Ihrem Projektordner eine neue Datei:

   cd ~/ai-lab-kit/llm/
   nano secret.py
   

3. Fügen Sie Ihren Schlüssel in secret.py ein:

   # secret.py
   API_KEY = "your_api_key_here"
   

Warnung

Halten Sie Ihren API-Key geheim. Laden Sie secret.py nicht in öffentliche Repositories hoch.

Mit Beispielcode testen

1. Öffnen Sie die Testdatei:

   cd ~/ai-lab-kit/llm/
   sudo nano llm_others.py
   

2. Ersetzen Sie den Inhalt der Python-Datei durch das folgende Beispiel und tragen Sie die korrekte base_url sowie das gewünschte model für Ihre Plattform ein:

   Bemerkung

   Zu base_url: Wir unterstützen das OpenAI-API-Format sowie jede API, die kompatibel dazu ist. Jeder Anbieter hat seine eigene base_url. Bitte prüfen Sie dazu die jeweilige Dokumentation.

   from fusion_hat.llm import LLM
   from secret import API_KEY
   
   INSTRUCTIONS = "You are a helpful assistant."
   WELCOME = "Hello, I am a helpful assistant. How can I help you?"
   
   llm = LLM(
      base_url = f"",
      api_key=API_KEY,
      model="",
   )
   

3. Führen Sie das Programm aus:

   sudo python3 llm_others.py