🚀 go-pugleaf

On 20/03/2024 17:20, Jacek Marcin Jaworski wrote:
> Jednak gdy wywołuję read((long long)
> 2*1024*1024*1024), to ta f. nic mi nie zwraca.

Są mętne informacje o limicie QStringa.

https://forum.qt.io/topic/10302/what-is-the-maximum-length-of-string-that-qstring-object-can-hold/7

https://stackoverflow.com/questions/46237476/maximum-size-of-qstring

QString trzyma dane w pamieci nieefektywnie z punktu widzenia analizy
dużych ilości danych.

Nie chcesz aby uzyć do tego https://doc.qt.io/qt-6/qdatastream.html
w szczególności readRawData?

W dniu 20.03.2024 o 19:01, heby pisze:
> On 20/03/2024 17:20, Jacek Marcin Jaworski wrote:
>> Jednak gdy wywołuję read((long long) 2*1024*1024*1024), to ta f. nic
>> mi nie zwraca.
>
> Są mętne informacje o limicie QStringa.
>
> https://forum.qt.io/topic/10302/what-is-the-maximum-length-of-string-that-qstring-object-can-hold/7
>
> https://stackoverflow.com/questions/46237476/maximum-size-of-qstring
>
> QString trzyma dane w pamieci nieefektywnie z punktu widzenia analizy
> dużych ilości danych.
>
> Nie chcesz aby uzyć do tego https://doc.qt.io/qt-6/qdatastream.html
> w szczególności readRawData?
>

Dzięki za odp.
Jednak mi chodzi o prosty przypadek gdy mam kilka linii do odczytania z
stdin i wtedy read((long long) 2*1024*1024*1024) nic nie zwraca, a
readAll() zwraca wszystkie. Nie wiem jak to wytłumaczyć.

On 20/03/2024 21:35, Jacek Marcin Jaworski wrote:
> Jednak mi chodzi o prosty przypadek gdy mam kilka linii do odczytania z
> stdin i wtedy read((long long) 2*1024*1024*1024) nic nie zwraca

Może zgaduje, że rozmiar stringa będzie przekroczony. Dla mniejszych
buforów zadziała?

Ogólnie linie nalezy czytać przez jakąs wersję readline w pętli, a nie
łykajac wszystko do stringa za jednym razem. Ma to kilka zalet, np.
kompatybilność z koncepcją unixowych rurek i przetwrzania równoległego.

>, a
> readAll() zwraca wszystkie. Nie wiem jak to wytłumaczyć.

Jakimś ograniczeniem, zgaduję. 2GB to jednak bardzo duży bufor. Może
readAll robi to sprytniej i nie zakłada od razu 2GB danych. Nie wiem, to
corner case zapewne.

heby <heby@poczta.onet.pl> wrote:

>> Jednak gdy wywo³ujê read((long long)
>> 2*1024*1024*1024), to ta f. nic mi nie zwraca.
>
> S± mêtne informacje o limicie QStringa.

O Qt wiem dok³adnie nic, ale oni serio wymy¶lili w³asnego stringa? W czym
im std::string przeszkadza³?

--
S³oñ i mrówka przechodz± przez most.. Most siê zerwa³..
Mrówka mówi do s³onia: A mówi³am ¿eby¶my przechodzili osobno..

On 21/03/2024 00:17, Arnold Ziffel wrote:
> O Qt wiem dokładnie nic, ale oni serio wymyślili własnego stringa? W czym
> im std::string przeszkadzał?

std::string wcale nie jest specjalnie dobry ani innowacyjny.

Przykładowo, wiele klas Qt, w tym QString, implementuje COW:

https://doc.qt.io/qt-6/implicit-sharing.html

Albo np, jeśli się to tyczy QStringa, dostarczają koncepcje fragmentów:

https://doc.qt.io/qt-6/qstringref.html

Jest też rzeczą wiadomą, że QStringi są deczko szybsze od std::,
wygodnie (i szybciej) operują na unicode.

Ogólnie, potraktuj części Qt jako niezwiązane z GUI. Oni mają jasno
określone gdzie zaczyna się i kończy [G]UI, a gdzie "core". Ten core
jest interesujący na wiele sposobów, w programowaniu niezwiązanym z UI.
Widziałem dużo kodu w którym używają QStringa jako zamiennika
std::string z dużym bonusem wydajności, a aplikacja jest "konsolowa" i
nic z interakcją z userem nie ma wspólnego.

W dniu 20.03.2024 o 22:22, heby pisze:
> On 20/03/2024 21:35, Jacek Marcin Jaworski wrote:
>> Jednak mi chodzi o prosty przypadek gdy mam kilka linii do odczytania
>> z stdin i wtedy read((long long) 2*1024*1024*1024) nic nie zwraca
>
> Może zgaduje, że rozmiar stringa będzie przekroczony. Dla mniejszych
> buforów zadziała?

Dla mniejszych buforów działa!
Jednorazowo z stdin można maks. odczytać 2GB:
QString lWszytko = QTextStream(stdin).read((long long) 2 * 1024 * 1024 *
1024 - 1);
Zmyliła mnie błędna dok. f. QString QTextStream::read(qint64 maxlen).
Ona zwraca QString który ma operator[](int) oraz operator[](unsigned
int). Tak więc teoretycznie QString powinien mieć maks. dł. 4GB
(unsigned int). Jednak z jakiegoś powodu QTextStream obsługuje maks. 2GB.

Taka uwaga na koniec:
Nie jest przypadkiem, że odczytuję za jednym zamachem całe stdin. Bo
prog. konsoli zwane edytorami strumieniowymi mogą działać w 2 trybach:
linijkowym i blokowym.
W trybie linijkowym działa np. sed i grep i jest to problem gdy wzorzec
ma parę linii.
Natomiast w trybie blokowym działa np. sort i nie da się tego zmienić.

Dzięki wielkie Heby!

On 21/03/2024 15:59, Jacek Marcin Jaworski wrote:
> Jednak z jakiegoś powodu QTextStream obsługuje maks. 2GB.

Może to dlatego, że QString jest unixode i nieefektycznie trzyma dane w
RAM, na dwóch+ bajtach per znak.

> Taka uwaga na koniec:
> Nie jest przypadkiem, że odczytuję za jednym zamachem całe stdin. Bo
> prog. konsoli zwane edytorami strumieniowymi mogą działać w 2 trybach:
> linijkowym i blokowym.
> W trybie linijkowym działa np. sed i grep i jest to problem gdy wzorzec
> ma parę linii.
> Natomiast w trybie blokowym działa np. sort i nie da się tego zmienić.

Odczytując za jedny zamachem cały stdin, bez względu na zawartośc pliku
i jego budowę, jest błędem, bo uniemozliwia równoległą pracę obu
programów po dwóch stronach rurki. To że są programy wymagające całości
na raz, to raczej wyjątek w unixie. Idę o zakład, że nie stortujesz 2gb
pliku binarnego podwanego na stdin.