Bitkom Universe by bigdataheaven
Entwickler · REST-API

Die API.

Programmzugriff auf 8.095+ Bitkom-Dokumente, Knowledge Graph und semantische Suche.

8.095
Dokumente
9.951
NER-Entitäten
157
Graph-Knoten
2.782
Verbindungen
Phase 2 abgeschlossen — Crawling + NER + Knowledge Graph live 8.095 Dokumente gecrawlt · 9.951 NER-Entitäten · 157 Graph-Knoten · 2.782 Verbindungen
Basis-URL · https://bitkom.t-00-l.com

Statische Daten (verfügbar)

GET /crawl_stats.json Live
Aktueller Crawl-Status, NER-Statistiken und Graph-Metriken
GET /knowledge_graph_v4.json Live
Vollständiger Knowledge Graph mit 157 Knoten und 2.782 Kanten (vis.js-kompatibel)
GET /ner_full.json Live
NER-Ergebnisse: 5.339 Personen, 9.951 Organisationen, 10 Themen, 2.782 Orte
GET /media_impact.json Live
Media-Impact-Daten: 6.476 externe Medienberichte
Dokumente

Dokumente (geplant)

GET /api/v1/documents Geplant
Liste aller Dokumente mit Pagination, Filterung nach Typ, Datum und Thema
GET /api/v1/documents/{id} Geplant
Einzelnes Dokument mit Volltext, Metadaten und Verbindungen
GET /api/v1/documents/search?q={query} Geplant
Volltextsuche über alle Dokumente
Knowledge Graph

Knowledge Graph (geplant)

GET /api/v1/graph/nodes Geplant
Alle Entitäten (Themen, Personen, Organisationen, Gesetze)
GET /api/v1/graph/node/{id}/connections Geplant
Verbindungen einer Entität mit konfigurierbarer Tiefe
GET /api/v1/graph/path?from={id}&to={id} Geplant
Kürzester Pfad zwischen zwei Entitäten
Suche

Semantische Suche (geplant)

POST /api/v1/search/semantic Geplant
Natürlichsprachliche Suche mit KI-generierter Antwort (RAG)
POST /api/v1/search/similar Geplant
Ähnliche Dokumente basierend auf Embedding-Vektoren
Medien

Media Tracking (geplant)

GET /api/v1/media/coverage Geplant
Externe Medienberichte zu Bitkom-Publikationen
GET /api/v1/media/document/{id}/mentions Geplant
Medien-Erwähnungen eines spezifischen Dokuments
Beispiel

Beispiel-Response

// GET /api/v1/documents/pm-2026-01-28-ai-act { "id": "pm-2026-01-28-ai-act", "title": "Bitkom zum AI Act: Pragmatische Umsetzung gefordert", "type": "press_release", "date": "2026-01-28", "topics": ["ki-verordnung", "digitale-souveraenitaet"], "persons": [{ "name": "Dr. Ralf Wintergerst", "role": "Bitkom-Präsident", "mentions": 3 }], "organizations": ["EU-Kommission", "Bundestag"], "laws": ["EU AI Act"], "hype_score": 94, "media_mentions": 8, "graph_connections": 12, "pdf_url": "/data/pdfs/pm-2026-01-28-ai-act.pdf", "source_url": "https://www.bitkom.org/..." }
Fortschritt

Implementierungs-Roadmap

Sitemap-Analyse — 7.457 URLs identifiziert
Pressemitteilungen, Publikationen, Studien, Positionen, Guides
Vollständiger Crawl — 8.095 Dokumente (100% Sitemap)
3.434 PDFs extrahiert · 213,5M Zeichen Text · 589 PDFs verarbeitet
Entity Extraction (NER) — spaCy de_core_news_lg
5.339 Personen · 9.951 Organisationen · 10 Themen · 2.782 Orte
Knowledge Graph v4 — NetworkX + vis.js
157 Knoten · 2.782 Kanten · Personen, Orgs, Themen, Gesetze, Dokument-Typen
Frontend Dashboard — Hype Score, Timeline, Media Impact, Chat
Mobile-responsive · vis.js Graph · Chart.js Timeline · Editorial-Design
NER-Qualität verbessern — Artefakte bereinigen
Duplikate, falsche Entitäten ("Der Bitkom") entfernen · Regex-Patterns optimieren
Vector Embeddings — Qdrant Setup + Indexierung
Semantische Suche über alle Dokumente
FastAPI Backend — REST Endpoints
Dokumenten-API, Graph-API, Search-API mit Auth
Media Tracking — Brave Search Integration
Automatische Erkennung externer Medienberichte
MCP Connector — Claude/AI Integration
Natürlichsprachlicher Zugriff auf den Knowledge Graph
Technik

Tech Stack

Python 3 BeautifulSoup spaCy NER NetworkX vis.js Chart.js PyMuPDF nginx Qdrant FastAPI Neo4j Brave Search API

Aktiv eingesetzt Geplant