HackerTrans
トップ新着トレンドコメント過去質問紹介求人

ImperiumOfMan

no profile record

投稿

[untitled]

1 ポイント·投稿者 ImperiumOfMan·2 年前·0 コメント

New AI Books5 Dataset for training LLMs further (July 2024 update)

twitter.com
4 ポイント·投稿者 ImperiumOfMan·2 年前·1 コメント

AI Libstc3 (July 2024) Dataset for training LLMs further

twitter.com
2 ポイント·投稿者 ImperiumOfMan·2 年前·1 コメント

AI Dataset Libstc2 a.k.a. Books4

old.reddit.com
2 ポイント·投稿者 ImperiumOfMan·2 年前·1 コメント

AI Books4 Dataset for training LLMs further

old.reddit.com
46 ポイント·投稿者 ImperiumOfMan·2 年前·48 コメント

[untitled]

1 ポイント·投稿者 ImperiumOfMan·2 年前·0 コメント

Search over Sci-Hub Content

libstc.cc
2 ポイント·投稿者 ImperiumOfMan·2 年前·0 コメント

[untitled]

1 ポイント·投稿者 ImperiumOfMan·2 年前·0 コメント

コメント

ImperiumOfMan
·2 年前·議論
[flagged]
ImperiumOfMan
·2 年前·議論
- More than 600,000 fiction and non-fiction book full-texts

- More than 8,000,000 scholarly publications, magazines, and manuals full-texts

- More than 5,000,000 US patents

- 164,000,000 metadata records

Format is described at https://t.me/nexus_search/226
ImperiumOfMan
·2 年前·議論
What? - More than 600,000 fiction and non-fiction book full-texts - More than 8,000,000 scholarly publications, magazines, and manuals full-texts - More than 5,000,000 US patents - 164,000,000 metadata records

Format Zstd compressed file, JSON lines, one per book/publication, 356GB - abstract, content - description and content in markdown format - issued_at - time of issuing of the object (not of the record itself) - metadata - ISBNs, publishers, series etc - id - identifier in external systems, if applicable (i.e. DOI) other fields should be self-descriptive

Download magnet:?xt=urn:btih:37504c50e6f318e8fee6e3f82a8150a888a4cdc8&dn=http://libstc3-libstc.cc.jsonl.zst&tr=udp%3A%2F%http://2Ftra...
ImperiumOfMan
·2 年前·議論
More than 400,000 fiction and non-fiction book full-texts. Multiple languages, curated, deduplicated.

More than 6,000,000 scholarly publications, magazines, and manuals full-texts. Multiple languages, curated, deduplicated.

150,000,000 metadata records

Download:

Torrent file below or magnet:?xt=urn:btih:a904e660355c49006b2e7d43893d31bf3c2be9cc&dn=libstc2.jsonl.zst&tr=udp://tracker.opentrackr.org:1337/announce&tr=https://tracker1.ctix.cn:443/announce&tr=udp://open.demonii....

~240GB
ImperiumOfMan
·2 年前·議論
Origin of the data:

- LibGen collections gathered over decades

- Sci-Hub

- Additional fresh scholar papers and books collected by Library STC