🌙 Open Data Corner 🌙 Atvirųjų duomenų kampelis

Sapnai.net Dataset

Dream meanings search dataset, collected in 2012–2015. Sapnų reikšmių paieškų duomenų rinkinys, sukauptas 2012-2015 metais.

✨ About the Dataset ✨ Apie duomenų rinkinį

Sapnai.net dataset is a long-term, real user behavior and search query dataset collected by one of the website's authors between 2012 and 2015. The dataset covers visitors' dream search history from February 2012 to March 2015. Don't worry, everything is fully anonymized – no personal data, just pure traces of dream wandering. :) ☁️ Sapnai.net duomenų rinkinys – tai ilgametis, realaus vartotojų elgsenos ir paieškos užklausų duomenų rinkinys, surinktas vieno iš svetainės autorių 2012–2015 metais. Rinkinys apima lankytojų sapnų paieškos istoriją nuo 2012 m. vasario iki 2015 m. kovo mėn. Nesijaudinkite, viskas visiškai anonimizuota – jokių asmens duomenų, tik gryni sapnų klajonių pėdsakai. :) ☁️

🚀 This dataset is freely and openly available, reusable under Creative Commons BY 4.0, and offered for scientific research, AI training, bold experiments, or unexpected student discoveries! 🚀 Šis duomenų rinkinys yra laisvai ir nemokamai prieinamas, pakartotinai naudojamas (Creative Commons BY 4.0) bei siūlomas moksliniams tyrimams, DI apmokymui, drąsiems eksperimentams ar netikėtiems studentų atradimams!
Metric Rodiklis Value Vertė
Observation Period Stebėjimo laikotarpis February 2012 – March 2015 2012 m. vasaris – 2015 m. kovas
Number of Users (IP Addresses) Vartotojų (IP adresų) skaičius 1 470 000+
Dream Meanings Sapnų reikšmės 4 200+
Total Records Bendras įrašų skaičius 27 000 000+
Dataset Sparsity (Fill rate) Rinkinio užpildymas ~0,43%
Technical Format Techninis formatas CSV / TXT (Encoding: UTF-8)

📁 Dataset File Structure 📁 Duomenų rinkinio failų struktūra

The archive consists of three main files tailored for analytics and machine learning: Archyvą sudaro trys pagrindiniai failai, pritaikyti analitikai ir mašininiam mokymuisi:

1. dreams_time.csv 611 MB

Data type: Raw, unfiltered dataset (as-is) Duomenų tipas: Neapdorotas, nefiltruotas duomenų rinkinys (toks, koks yra)

  • Content: Each dream log is linked to an exact timestamp. Turinys: Kiekvienas sapno įrašas susietas su tiksliu laiko žingsniu (timestamp).
  • Format: User_ID, Dream_ID, UNIX Timestamp Formatas: Vartotojo ID, Sapno ID, UNIX laiko žymė
  • Size: 27,157,944 rows, 1,473,263 unique users, 4,244 unique dreams. Dydis: 27 157 944 eilutės, 1 473 263 unikalūs vartotojai, 4 244 unikalūs sapnai.
  • Density: ~0.43% (calculated on raw data including duplicate entries). Užpildymas: ~0,43% (skaičiuojant neapdorotus duomenis su pasikartojančiais įrašais).
  • Usage: Big data engineering, recommendation systems, AI-driven sequential pattern mining, behavioral clustering, and time-series analysis (Temporal AI). Panaudojimas: Didžiųjų duomenų inžinerija, rekomendacijų sistemos, DI pagrįsta sekų analizė, elgsenos klasterizavimas ir laiko eilučių analizė (Temporal AI).
  • Dreams Per User Distribution (1 to 20 snippet shown) Sapnų skaičiaus vartotojui pasiskirstymas (rodomas 1–20 fragmentas) 
      1 | ######################################## (385,798)
  2 | ########################### (263,696)
  3 | ############## (135,378)
  4 | ############ (113,733)
  5 | ####### (70,057)
  6 | ####### (62,953)
  7 | #### (42,955)
  8 | #### (40,204)
  9 | ### (29,801)
 10 | ### (27,915)
 11 | ## (21,851)
 12 | ## (20,128)
 13 | ## (16,558)
 14 | ## (15,416)
 15 | # (12,923)
 16 | # (11,968)
 17 | # (10,491)
 18 | # (9,738)
 19 | # (8,356)
 20 | # (7,810)
-------------------------------------------------------------------------
  • Example Data (First 10 rows) Duomenų pavyzdys (Pirmos 10 eilučių) 
    User,Dream,Time
1,3493,1329505425
1,3493,1329505425
2,2398,1329505427
1,3493,1329505428
3,1723,1329505430
4,820,1329505437
5,1137,1329505442
6,651,1329505443
6,3956,1329505444


2. dreams_filtered.csv 199 MB

Data type: Rigorously filtered dataset based on data quality rules Duomenų tipas: Pagal griežtas duomenų kokybės taisykles išfiltruotas rinkinys

🧹 Chronological Purge: Stripped exact user-dream duplicate rows down to their earliest timestamp. 🧹 Chronologinis šalinimas: Pašalinti tikslūs pasikartojimai, paliekant tik anksčiausią įrašą.
🎯 Core Engagement Zone: Restricted exclusively to active users logging between 3 and 100 entries. 🎯 Aktyvumo zona: Palikti tik vartotojai, užregistravę nuo 3 iki 100 įrašų.
🛡️ Anti-Scraping Shutter: Obliterated high-frequency bot spikes (>10 lookups inside any 120s window). 🛡️ Apsauga nuo skenavimo: Pašalinti didelio dažnio botai (>10 paieškų per 120s).
  • Content: Each dream log is linked to an exact timestamp. Turinys: Kiekvienas sapno įrašas susietas su tiksliu laiko žingsniu (timestamp).
  • Format: User_ID, Dream_ID, UNIX Timestamp Formatas: Vartotojo ID, Sapno ID, UNIX laiko žymė
  • Size: 8,803,224 rows, 713,971 unique users, 4,244 unique dreams. Dydis: 8 803 224 eilutės, 713 971 unikalūs vartotojai, 4 244 unikalūs sapnai.
  • Density: ~0.29% Užpildymas: ~0,29%
  • Usage: Recommendation systems, collaborative filtering, sequential pattern mining, behavioral clustering, temporal data analysis, user journey modeling, and machine learning benchmarking. Panaudojimas: Rekomendacijų sistemos, bendradarbiavimo filtravimas, sekų dėsningumų analizė, elgsenos klasterizavimas, laiko eilučių analizė, vartotojo kelionės modeliavimas ir mašininio mokymo testavimas.
  • Dreams Per User Distribution (3 to 20 snippet shown) Sapnų skaičiaus vartotojui pasiskirstymas (rodomas 3–20 fragmentas) 
    -------------------------------------------------------------------------
  3 | ################################################## (151,638)
  4 | ################################# (100,420)
  5 | ####################### (71,348)
  6 | ################# (52,797)
  7 | ############# (41,145)
  8 | ########## (32,319)
  9 | ######## (26,414)
 10 | ####### (21,984)
 11 | ###### (18,625)
 12 | ##### (15,768)
 13 | #### (13,712)
 14 | #### (11,924)
 15 | ### (10,620)
 16 | ### (9,141)
 17 | ## (8,447)
 18 | ## (7,422)
 19 | ## (6,828)
 20 | ## (6,151)
-------------------------------------------------------------------------
  • Example Data (First 10 rows) Duomenų pavyzdys (Pirmos 10 eilučių) 
    User,Dream,Time
1,3493,1329505425
1,2941,1329505666
1,1378,1329505733
1,2115,1329505823
1,1396,1329506031
1,1403,1329506096
1,1385,1329506245
1,2447,1331454026
1,524,1334339773


3. dream_text.csv 63 KB

Data type: The relationship between Dream IDs and verbal meanings Duomenų tipas: Sapnų ID ir žodinių reikšmių ryšys

  • Content: Mapping of each dream ID to its catalog dictionary meaning. Keywords are in Lithuanian, but easily translatable into English or any other language. Turinys: Kiekvieno sapno ID susiejimas su katalogine žodine reikšme. Raktažodžiai pateikiami lietuvių kalba, tačiau yra lengvai išverčiami į anglų ar bet kurią kitą reikalingą kalbą.
  • Format: Dream ID, Dream Formatas: Sapno ID, Sapnas
  • Size: 4,223 rows. Dydis: 4223 eilutės.
  • Usage: Mapping "raw numbers" (IDs) to real verbal terms to interpret machine learning or recommendation system results and apply them in other fields such as human behavior modeling or psychological research. Panaudojimas: „Plikų skaičių“ (ID) susiejimui su realiais žodiniais terminais, leidžiančiam interpretuoti mašininių algoritmų ar rekomendacinių sistemų rezultatus ir realizuoti jas kitose srityse, pavyzdžiui, žmonių elgsenos modeliavime arba psichologijos tyrimuose.
  • Example Data (First 10 rows) Duomenų pavyzdys (Pirmos 10 eilučių) 
    Dream_ID,Dream
1,Abatas
2,Abatė
3,Abejojimas
4,Abėcėlė
5,Aborigenai
6,Abortas
7,Abrazyvinės medžiagos
8,Abrikosas
9,Acetonas

📦 Key Attributes 📦 Pagrindiniai Atributai

  • Anonymized session and user identifiers (User ID) Anonimizuoti sesijų ir vartotojų identifikatoriai (User ID)
  • Dream number and verbal keyword (Dream ID and meaning) Sapno numeris ir žodinis raktažodis (Dream ID ir reikšmė)
  • Search timestamp (UNIX / Datetime) Paieškos laiko spauda (UNIX / Datetime)
  • Millions of implicit behavioral streams and click sequences Milijonai implicitinių elgsenos srautų ir paspaudimų sekų

🔬 Scientific Application 🔬 Mokslinis Panaudojimas

  • Research on recommendation systems and filtering models Rekomendacinių sistemų ir filtravimo modelių tyrimai
  • User behavior clustering and sequence prediction Vartotojų elgsenos klasterizavimiz ir sekų prognozavimas
  • Big Data resource optimization Didelių duomenų (Big Data) resursų optimizavimas
  • Time-series and diurnal cycle trend analysis Laiko eilučių (Time-series) ir paros ciklų tendencijų analizė

🤖 Application in the Field of Artificial Intelligence (AI) 🤖 Panaudojimas Dirbtinio intelekto (DI) erdvėje

Although the dataset spans a historic timeline, in the context of modern artificial intelligence and machine learning it unlocks powerful new opportunities: Nors duomenų rinkinys apima istorinį laikotarpį, šiuolaikinio dirbtinio intelekto ir mašininio mokymo kontekste jis atveria galingas naujas galimybes:

  • User intent and behavior sequence prediction: training deep learning sequence models and recurrent networks to predict subsequent user search actions. Vartotojų ketinimų ir elgsenos sekų prognozavimas: giluminio mokymosi sekų modelių treniravimui, siekiant nuspėti tolesnius vartotojo paieškos žingsnius.
  • Temporal AI & Circadian trend modeling: analyzing timestamps allows exploring how human psychological focus and interests fluctuate across diurnal cycles, days of the week, or seasonal patterns. Temporal AI ir ciklinių tendencijų modeliavimas: laiko žymių analitika leidžia tyrinėti, kaip žmogaus psichologinis dėmesys ir interesai kinta priklausomai nuo paros ciklų, savaitės dienų ar sezoniškumo.
  • RecSys & Collaborative Filtering benchmarking: utilizing dense user-item interaction structures to test, evaluate, and optimize modern recommendation algorithms and AI agent personalization. Rekomendacinių sistemų ir bendradarbiavimo filtravimo (RecSys) testavimas: duomenų struktūros naudojimas vertinant bei optimizuojant šiuolaikinius rekomendavimo algoritmus ir DI agentų personalizavimą.

📚 Scientific Citations & BibTeX Format 📚 Mokslinės citatos ir BibTeX formatas

If the dataset was useful, you can cite the dataset author's papers in your publication or add link to your website. Suggested options: Jeigu rinkinys buvo naudingas, šio rinkinio autoriaus straipsnius galite cituoti savo publikacijoje arba įdėti nuorodą savo svetainėje. Siūlomi variantai:

Doctoral Dissertation (in Lithuanian): Daktaro disertacija (lietuvių kalba):

Rapečka, A. (2015). Rekomendacinių sistemų socialiniuose tinkluose efektyvumo didinimas (Doctoral dissertation, Vilnius universitetas).
@phdthesis{rapecka2015dissertation, author = {Rapečka, Aurimas}, title = {Rekomendacinių sistemų socialiniuose tinkluose efektyvumo didinimas}, school = {Vilnius universitetas}, year = {2015} }

Scientific Article: Mokslinis straipsnis:

Rapečka, A., & Dzemyda, G. (2015). A new recommendation model for the user clustering-based recommendation system. Information Technology and Control, 44(1), 54-63.
@article{rapecka2015recommendation, author = {Rapečka, Aurimas and Dzemyda, Gintautas}, title = {A new recommendation model for the user clustering-based recommendation system}, journal = {Information Technology and Control}, volume = {44}, number = {1}, pages = {54--63}, year = {2015} }

Conference Publication: Publikacija konferencijų leidinyje:

Rapečka, A., Jedzinskas, J. L., & Dzemyda, G. (2016). Detailed Analysis of the Dreams Meanings Dataset. Data Analysis Methods for Software Systems (DAMSS), Vilnius University.
@inproceedings{rapecka2016detailed, author = {Rapečka, Aurimas and Jedzinskas, J. L. and Dzemyda, Gintautas}, title = {Detailed Analysis of the Dreams Meanings Dataset}, booktitle = {Data Analysis Methods for Software Systems (DAMSS)}, year = {2016}, publisher = {Vilnius University} }

Dataset Source Website: Duomenų rinkinio svetainė:

https://www.sapnai.net
<a href="https://www.sapnai.net" target="_blank"> Sapnai.net - Dream meanings (in Lithuanian) Sapnai.net - Sapnų reikšmės ir aiškinimai </a>

Alternative Website: Kita svetainė:

https://www.vietoves.lt
<a href="https://www.vietoves.lt" target="_blank"> Vietoves.lt - Lithuanian geographical database Vietoves.lt - Lietuvos geografinės informacijos svetainė </a>

👨‍💻 About the Author 👨‍💻 Apie autorių

dr. Aurimas Rapečka

Computer scientist, researcher, author of this dataset, and creator of the geographical and visual heritage website Vietoves.Lt.
His scientific activities and doctoral dissertation defended at Vilnius University are closely related to recommendation system models, user behavior analysis, and Big Data applications.
Currently, Aurimas Rapečka is not actively involved in research, focusing on digital tourism and local history. Informatikas, tyrėjas, šio duomenų rinkinio bei Lietuvos vaizdinės ir geografinės medžiagos svetainės Vietovės.Lt autorius.
Jo mokslinė veikla ir Vilniaus universitete apginta daktaro disertacija glaudžiai susijusi su rekomendacinių sistemų modeliais, vartotojų elgsenos analize bei didelių duomenų (Big Data) taikymu.
Šiuo metu Aurimas Rapečka aktyvioje mokslinėje veikloje nedalyvauja, pozicionuojasi į turizmo skaitinimo ir kraštotyros sritis.

📚 Author's scientific publications: Autoriaus mokslinės publikacijos: Google Scholar Profile

✉️ Inquiries and Collaboration: Klausimai ir bendradarbiavimas: aurimo [a] svajos [.] com.

🔗 Links 🔗 Nuorodos

Where to find everything: Kur viską rasti:

  • This page address: Šio puslapio adresas: sapnai.net/db
  • Website where the dataset was collected: Tinklalapis, kuriame surinktas rinkinys: Sapnai.net
  • Official author's website: Oficialus autoriaus tinklapis: Aurimo.Svajos.Com
  • Author's Facebook profile: Autoriaus Facebook profilis: Aurimas Rapečka