pLlama3.2 (1B + 3B) – małe GenAI dla polskiego
pLLama – wygenerowane za pomocą AI Intro Cześć Wam! Dziś bardzo krótki wpis. Wpis o modelu, niewielkim jak na te czasy. Pewnie słyszeliście o LLamie3.2 od MetaAI? Meta udostępniła ostatnio …
Blog
pLlama3 (8B + 70B) – GenAI dla polskiego
pLLama – wygenerowane za pomocą AI Intro Witajcie! W ostatnim wpisie wspominaliśmy o modelu GenaAI… Tak! Dzisiaj chcemy przedstawić Wam nasz nowy model, a właściwie to rodzinę modeli douczoną na …
RAG (i problemy?)
Wstęp Dzisiejszy wpis będzie nieco inny niż przeważnie. Tym razem nie przybywamy z nowym modelem, ale z opisem metody RAG. Metoda jest ogólnie znana, dlatego ten wpis będzie bardziej w …
Model bi-encodera i cross-encodera
Wstęp Możliwości płynące z wykorzystania modeli generatywnych są ogromne, wystarczy spojrzeć na sukces OpenAI i flagowego produktu ChatGPT. Modele generatywne oparte o architekturę transformers dorównują człowiekowi w zakresie tworzenia contentu, …
Odszumiacz tekstów
Aktualnie świat przetwarzania języka naturalnego został zdominowany przez rozwiązania oparte o modele w architekturze transformers. Różnorodność tych modeli praktycznie zdominowała każdy obszar NLP. Niezależnie jednak od architektury i przeznaczenia mają one …
Ekstrakcyjne QA – nasz model polish-qa-v2
W dziedzinie przetwarzania języka naturalnego stale pojawiają się innowacyjne rozwiązania, które umożliwiają precyzyjne odpowiadanie na pytania w różnych językach. Prezentujemy model polish-qa-v2, który stanowi krok naprzód w naszych badaniach nad …
Nowe modele gpt2!
Dzisiaj udostępniliśmy dwa modele gpt2 trenowane od podstaw. Jeden w architekturze small, drugi w medium. Modele oczywiście dostępne są publicznie na naszym huggingface 😉 Poniżej po dwa zrzuty ekranu z …
[Q&A] Uczenie GPU/CPU
Q: Jak uruchomić uczenie/inferencję na wybranych GPU? A: Należy uruchomić program z opcją: gdzie 0 i 1 to numery kart graficznych do rozproszonego obliczenia. Q: Jak włączyć/wyłączyć obsługę NVX dla …
Narzędzia do tworzenia modeli word2vec
Fasttext, GloVe…
Błędy podczas uczenia i douczania transformatorów
Chcę wykorzystać trainera do fine-tuningowania ale dostaję komunikat CUBLAS_STATUS_ALLOC_FAILED… Dostaję informację o braku pamięci na GPU pomimo tego, że mam…