mindnet/scripts/reset_qdrant.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Name:        scripts/reset_qdrant.py
Version:     v1.2.0 (2025-11-11)
Kurzbeschreibung:
  Sicheres Zurücksetzen der Qdrant-Collections für EIN Projektpräfix. Das Skript
  ermittelt zunächst die tatsächlich betroffenen Collections und zeigt eine
  Übersicht an. Anschließend wird der User um Bestätigung gebeten (interaktive
  Abfrage), bevor eine der Aktionen ausgeführt wird:

    - wipe:     Löscht die Collections komplett und legt sie gemäß Projekt-Defaults neu an.
                **Neu**: Danach werden *immer* die Payload-Indizes & Schema-Ergänzungen
                über ensure_payload_indexes() idempotent eingerichtet (falls nicht mit --no-indexes deaktiviert).
    - truncate: Löscht nur alle Points (Inhalte), behält die Collection-Settings.
                **Neu**: Optional (Default) werden im Anschluss die Payload-Indizes geprüft/ergänzt.

Aufruf (aus Projekt-Root, im venv):
  python3 -m scripts.reset_qdrant --mode wipe [--prefix PREFIX] [--yes] [--dry-run]
  python3 -m scripts.reset_qdrant --mode truncate [--prefix PREFIX] [--yes] [--dry-run]

Parameter:
  --mode        wipe | truncate  (Pflicht)
  --prefix      Collection-Prefix (Default: env COLLECTION_PREFIX oder 'mindnet')
  --yes         Keine Rückfrage, direkt ausführen (CI/CD geeignet)
  --dry-run     Nur anzeigen, was passieren würde; nichts ändern
  --no-indexes  Überspringt den Schritt ensure_payload_indexes() (Standard: Indizes/Schema werden geprüft/ergänzt)

Umgebungsvariablen (optional):
  QDRANT_URL, QDRANT_API_KEY, COLLECTION_PREFIX, VECTOR_DIM (Default 384)
  (Zusätzliche ENV für Named Vectors etc. werden innerhalb ensure_collections/ensure_payload_indexes berücksichtigt.)

Sicherheitsmerkmale:
  - Betrachtet ausschließlich Collections des angegebenen Präfixes.
  - Listet vor Ausführung die tatsächlich existierenden Ziel-Collections auf.
  - Fragt interaktiv nach Bestätigung (es sei denn --yes ist gesetzt).

Exitcodes:
  0 = OK, 1 = abgebrochen/keine Aktion, 2 = Verbindungs-/Konfigurationsfehler

Changelog:
  v1.2.0: ensure_payload_indexes() nach wipe/truncate standardmäßig ausführen (idempotent); --no-indexes Flag ergänzt.
  v1.1.1: Stabilisierung & Preview (2025-09-05).
  v1.1.0: Interaktive Bestätigung, --yes/--dry-run hinzugefügt, Preview der betroffenen Collections.
  v1.0.0: Wipe/Truncate ohne Bestätigungsabfrage.
"""
from __future__ import annotations
import argparse
import os
import sys
from typing import List

from qdrant_client import QdrantClient
from qdrant_client.http import models as rest

from app.core.qdrant import (
    QdrantConfig,
    get_client,
    ensure_collections,
    ensure_payload_indexes,
    collection_names,
)


def resolve_existing_collections(client: QdrantClient, prefix: str) -> List[str]:
    """Ermittelt die *existierenden* Collections für das übergebene Präfix.
    Es werden NUR die projektdefinierten Collections betrachtet (notes/chunks/edges).
    """
    notes, chunks, edges = collection_names(prefix)
    candidates = [notes, chunks, edges]
    existing = [c for c in candidates if client.collection_exists(c)]
    return existing


def confirm_or_abort(action: str, collections: List[str], nonexisting: List[str], assume_yes: bool) -> bool:
    print("\n=== Reset-Vorschau ===")
    print(f"Aktion:    {action}")
    if collections:
        print("Betroffen (existieren):")
        for c in collections:
            print(f"  - {c}")
    else:
        print("Betroffen (existieren):   — (keine)")

    if nonexisting:
        print("Nicht vorhanden (werden bei wipe ggf. neu angelegt):")
        for c in nonexisting:
            print(f"  - {c}")

    if assume_yes:
        print("\n--yes gesetzt → führe ohne Rückfrage aus.")
        return True

    try:
        ans = input("\nFortfahren? (yes/no): ").strip().lower()
    except EOFError:
        return False
    return ans in ("y", "yes")


def delete_all_points(client: QdrantClient, collections: List[str]) -> None:
    """Löscht *alle* Points in den angegebenen Collections.
    API-Kompatibilität:
      - neuere qdrant-client:   client.delete_points(...)
      - ältere qdrant-client:   client.delete(...)
    """
    match_all = rest.Filter(must=[])
    for col in collections:
        try:
            if hasattr(client, "delete_points"):
                client.delete_points(collection_name=col, points_selector=match_all, wait=True)
            else:
                client.delete(collection_name=col, points_selector=match_all, wait=True)
        except Exception as e:
            print(f"Fehler beim Löschen der Points in {col}: {e}", file=sys.stderr)
            raise


def wipe_collections(client: QdrantClient, all_col_names: List[str], existing: List[str]) -> None:
    # Lösche nur Collections, die wirklich existieren; die anderen werden anschließend neu angelegt
    for col in existing:
        client.delete_collection(col)
    # ensure_collections legt alle benötigten Collections (notes/chunks/edges) neu an


def main():
    ap = argparse.ArgumentParser(description="Wipe oder truncate mindnet-Collections in Qdrant (mit Bestätigung & Index-Setup).")
    ap.add_argument("--mode", choices=["wipe", "truncate"], required=True,
                    help="wipe = Collections löschen & neu anlegen; truncate = nur Inhalte löschen")
    ap.add_argument("--prefix", help="Collection-Prefix (Default: env COLLECTION_PREFIX oder 'mindnet')")
    ap.add_argument("--yes", action="store_true", help="Ohne Rückfrage ausführen (CI/CD)")
    ap.add_argument("--dry-run", action="store_true", help="Nur anzeigen, was passieren würde; nichts ändern")
    ap.add_argument("--no-indexes", action="store_true", help="Überspringt ensure_payload_indexes()")
    args = ap.parse_args()

    # Qdrant-Konfiguration
    try:
        cfg = QdrantConfig.from_env()
    except Exception as e:
        print(f"Konfigurationsfehler: {e}", file=sys.stderr)
        sys.exit(2)

    if args.prefix:
        cfg.prefix = args.prefix

    # Client
    try:
        client = get_client(cfg)
    except Exception as e:
        print(f"Verbindungsfehler zu Qdrant: {e}", file=sys.stderr)
        sys.exit(2)

    # Ziel-Collections: existierende & nicht existierende (per Namenskonvention)
    notes, chunks, edges = collection_names(cfg.prefix)
    all_col_names = [notes, chunks, edges]
    existing = resolve_existing_collections(client, cfg.prefix)
    nonexisting = [c for c in all_col_names if c not in existing]

    # Preview & Bestätigung
    if not confirm_or_abort(args.mode, existing, nonexisting, args.yes):
        print("Abgebrochen – keine Änderungen vorgenommen.")
        sys.exit(1)

    if args.dry_run:
        print("Dry-Run – keine Änderungen vorgenommen.")
        sys.exit(0)

    # Ausführen
    if args.mode == "wipe":
        wipe_collections(client, all_col_names, existing)
        ensure_collections(client, cfg.prefix, cfg.dim)
        if not args.no_indexes:
            ensure_payload_indexes(client, cfg.prefix)
        print(f"Wiped & recreated (Prefix={cfg.prefix}): {all_col_names}")
        if not args.no_indexes:
            print("Payload-Indizes & Schema-Ergänzungen geprüft/ergänzt (ensure_payload_indexes).")
    else:
        if not existing:
            print("Keine existierenden Collections zum Truncaten gefunden. Beende ohne Aktion.")
            sys.exit(0)
        delete_all_points(client, existing)
        if not args.no_indexes:
            # Auch nach truncate sicherstellen, dass neue/fehlende Indizes ergänzt werden
            ensure_payload_indexes(client, cfg.prefix)
        print(f"Truncated (deleted all points in): {existing}")
        if not args.no_indexes:
            print("Payload-Indizes & Schema-Ergänzungen geprüft/ergänzt (ensure_payload_indexes).")


if __name__ == "__main__":
    main()