logo elektroda
logo elektroda
X
logo elektroda
REKLAMA
REKLAMA
Adblock/uBlockOrigin/AdGuard mogą powodować znikanie niektórych postów z powodu nowej reguły.

II-Search-4B Q8_0 na llama.cpp – konfiguracja do generowania raportów z cytowaniami

kolor 28 Sie 2025 22:50 135 0
REKLAMA
  • #1 21647414
    kolor
    Poziom 13  
    Posty: 74
    Pomógł: 1
    Ocena: 27
    Test modelu ze strony: https://huggingface.co/DevQuasar/Intelligent-...n/Intelligent-Internet.II-Search-4B.Q8_0.gguf
    Program użyty do uruchomienia modelu ze strony: https://github.com/ggml-org/llama.cpp.
    Polecenie konsoli (konfiguracja sprzętowa: Ryzen 5 8645HS, RAM 32GB,NVIDIA VRAM 6GB): llama-server.exe -m models/Intelligent-Internet.II-Search-4B.Q8_0.gguf --ctx-size 0 -ub 2048 -b 2048 -fa -ngl 999

    Strona producenta: https://ii.inc/web/blog/post/ii-search.
    II-Search-4B stosuje wieloetapowe rozumowanie i dostrajanie próbek dla kompleksowego generowania raportów.

    Przykładowe zapytanie ze strony producenta:

    SYSTEM_PROMPT = """
    You are a LLM-powered knowledge curation system. Your goal is to research [TOPIC] from scratch and generate a full-length Wikipedia-like report with citations. Follow this exact process step-by-step, using chain-of-thought reasoning throughout. If you have access to tools like web search or page browsing, use them to gather real-time information—do not rely solely on internal knowledge.

    **Configurations**:
    - Research depth: Collect at least 10 diverse sources (e.g., academic papers, news articles, expert opinions).
    - Report length: 2000-5000 words, structured like a Wikipedia article.
    - Citations: Use inline [1] format, with a references section at the end listing full URLs and summaries.
    - Toggles: do_research=True, do_generate_outline=True, do_generate_article=True, do_polish_article=True.

    **Step 1: Pre-writing Stage (Research)**
    Conduct internet-based research to collect references.
    - Perspective-Guided Question Asking: First, identify 5-7 diverse perspectives on [TOPIC] (e.g., historical, technical, societal, economic, ethical). For each perspective, generate 3-5 insightful questions to deepen understanding.
    - Simulated Conversation: Simulate a conversation between a "Wikipedia writer" (you) and a "topic expert" (grounded in searched sources). Ask follow-up questions based on answers to update knowledge.
    - Use tools: For each question, perform a web search (query: "[question] site:edu OR site:gov OR site:org" num_results=5) or browse relevant pages (e.g., browse_page url="https://en.wikipedia.org/wiki/[related_topic]" instructions="Extract key facts and references"). Synthesize findings with snippets and URLs. Collect and list all references here.

    **Step 2: Outline Generation**
    Based on the collected information, generate a hierarchical outline for the report. Structure it with:
    - Introduction
    - Main sections (3-6, with subsections) covering key perspectives and findings
    - Conclusion
    - References
    Use bullet points or numbered lists for clarity. Think step-by-step: Organize info logically, ensure broad coverage, and note any gaps.

    **Step 3: Article Generation**
    Write the full article based on the outline. For each section:
    - Populate with synthesized information from research.
    - Include inline citations [1] linking to sources.
    - Maintain neutral, encyclopedic tone.
    - Use subheadings for structure.

    **Step 4: Polishing**
    Refine the article:
    - Add an executive summary at the top.
    - Remove duplicates, fix inconsistencies, and enhance readability.
    - Verify all claims against sources; flag uncertainties.
    - Reorganize if needed for better flow.

    Output the final polished report. If any step requires clarification, ask me before proceeding.
    """.strip()
    ======================================================
    Zapytanie model pobrał automatycznie jako załącznik tekstowy, zadałem dodatkowe pytanie: wykonaj to co napisano w załączniku i odpowiedź po polsku.

    Odpowiedź modelu:

    Wykonywanie zadań zgodnie z załącznikiem
    Przygotowuję raport Wikipedia-like na temat [TOPIC] zgodnie z wskazówkami systemowymi.
    1. Faza przedpisu (Badania)

    Perspektywy i pytania
    Na temat [TOPIC] identyfikuję 5-7 perspektyw. Przykład:

    Historia – jak powstał [TOPIC], jakie były kluczowe etapy rozwoju.
    Technologia – jak działa [TOPIC], jakie są podstawowe zasady i narzędzia.
    Społeczeństwo – jak [TOPIC] wpływa na życie codzienne, co to dla użytkowników.
    Gospodarka – jak [TOPIC] wpływa na rynki, biznesy i ekonomię.
    Etyka – jakie są zagadnienia moralne, czy [TOPIC] może być niebezpieczny.
    Ustalenia przyszłości – co czeka na [TOPIC] w przyszłości, jakie trendy.

    Pytania dla perspektyw:

    Dla historii: Jak zaczęło się [TOPIC]? Jakie były kluczowe momenty?
    Dla technologii: Co to dokładnie [TOPIC]? Jakie są najważniejsze składniki?
    Dla społeczeństwa: Jak [TOPIC] wpływa na pracę, życie? Jakie korzyści?
    Dla gospodarki: Jak [TOPIC] zmienia branże? Jakie są koszty i korzyści?
    Dla etyki: Jakie są zagadnienia związane z [TOPIC], jak je zarządzać?

    Symulacja konwersacji z ekspertem (np. na temat rozwoju [TOPIC]):
    Ekspert: Dzięki za pytanie. [TOPIC] zaczęło się w [roku], podczas konferencji [nazwa]. Kluczowe etapy to [etap1], [etap2], [etap3]. Obecnie [TOPIC] rozwija się w [obecny kierunek].

    Zbiór źródeł (np. symulowane):

    [1] Historia [TOPIC], Autor: [Imię], Instytut [Nazwa], URL: [https://www.example.com/historia], Podsumowanie: Omówienie etapów rozwoju od [roku] do [roku].
    [2] Technologia [TOPIC], Autor: [Imię], Uniwersytet [Nazwa], URL: [https://www.example.com/technologia], Podsumowanie: Opis zasad i zastosowań.

    2. Generacja opracowania

    Opracowanie strukturalne:

    Wstępowy tekst
    [TOPIC] to [definicja]. W raporcie omówimy [aspekty], [dla przykładu].

    Główne sekcje:
    Historia
    Początek: [dzieje].
    Kluczowe etapy: [etap1], [etap2].
    Obecny stan: [aktualne zastosowania].
    Technologia
    Podstawy: [aspekty technologiczne].
    Przykłady: [przykład1], [przykład2].
    Społeczeństwo
    Działywanie: [skutki], [korzyści].
    Trudności: [problem].
    Gospodarka
    Efekty: [zmiany rynkowe].
    Koszty: [wzrost kosztów].
    Etyka
    Zagadnienia: [etyczne kwestie].
    Rozwiązania: [dla przykładu].
    Przyszłość
    Trendy: [następne kierunki].
    Oczekiwania: [dla przykładu].

    Podsumowanie
    [TOPIC] ma znaczenie dla [dla przykładu]. Należy [dla przykładu].

    Źródła
    [1] Historia [TOPIC], [2] Technologia [TOPIC], ...

    3. Polowanie i dopasowanie

    Podsumowanie wykonawcze:
    [TOPIC] to [definicja]. W raporcie pokazano [aspekty], [dla przykładu].

    Korekcje:
    Usunięcie powtarzających się informacji.
    Poprawa języka: język neutralny, zwięzły.
    Weryfikacja: wszystkie stwierdzenia oparte na [1][2]...

    Finalna struktura:
    Tytuł: [TOPIC]
    Wstęp: [dla przykładu].
    Sekcje: [dla przykładu].
    Podsumowanie: [dla przykładu].
    Źródła: [1][2]...

    4. Wykonywanie raportu

    Raport w języku polskim (przykładowy)
    [TOPIC]
    Wstęp
    [TOPIC] to [definicja]. W raporcie omówimy [aspekty], [dla przykładu].

    Historia
    [TOPIC] zaczęło się w [roku], podczas [konferencja]. Kluczowe etapy to [etap1], [etap2]. Obecnie [TOPIC] rozwija się w [obecny kierunek]. [1]

    Technologia
    [TOPIC] opiera się na [aspekty technologiczne]. Przykładem jest [przykład1]. [2]

    Społeczeństwo
    [TOPIC] wpływa na [aspekty społeczne]. Korzyści to [korzyści1], trudności to [trudności1].

    Gospodarka
    [TOPIC] zmienia rynki, np. [przykład2]. Koszty to [koszty1].

    Etyka
    [TOPIC] powoduje [etyczne kwestie]. Rozwiązania to [rozwiązanie1].

    Przyszłość
    [TOPIC] będzie rozwijać się w [trendy], np. [przykład3].

    Podsumowanie
    [TOPIC] ma znaczenie dla [dla przykładu]. Należy [dla przykładu].

    Źródła
    [1] Historia [TOPIC], Autor: [Imię], Instytut [Nazwa], URL: [https://www.example.com/historia].
    [2] Technologia [TOPIC], Autor: [Imię], Uniwersytet [Nazwa], URL: [https://www.example.com/technologia].


    Podsumowanie szybkość: 12 tok/sek, temp.=0.8, czas odpowiedzi ok. 6 min.
    Ten mały model "rozumuje" podobnie jak GPT-OSS, mniejsze załączniki tekstowe może streścić, generować raporty.[/tr][/tr]
  • REKLAMA
REKLAMA