[Javalist] Elasticsearch: ki használja?

[Tamás Magyar]

Tudom, hogy legtöbben loganalízisra / montirongra használják (ELK)...
Splunk helyett :P de nekünk nem arra kell. Ha 1-1 rekord elveszik az
sem kényelmes, mert ugyan ott az adatbázis, mint megbízható
adatforrás, de nem szeretném rendszeresen az egészet újraindexelni (mi
van, ha közben keres valaki). Voltam egy előadáson, ahol két az
Elastic cégnél dolgozó tech szaki beszélt az elég gyakorlatias
bemutató során, és abból nekem az jött le, hogy ezt előre (tervezői
döntések, cluster kialakítás során beállítások) el kell dönteni, de ha
fontos a usernek, akkor biztosítható a konzisztencia, elkerülhető az
adatvesztés. Én ezt némi régi Lucene tapasztalattal el is hittem
nekik. Remélem nem vertek át, mert nem esne jól, hogy néha random
eltűnnek dolgok az indexből, amikről én azt hiszem, hogy leindexeltem
sikeresen. Volt konkrétan ilyen tapasztalatotok?

Az, hogy a "tranzakcióból" (azért hívom így, mert DB-ből másolunk át
adatokat Elasticsearchbe, hogy gyorsabban lehessen keresni) kilátszik
néhány rekord az nem nagy gond, csak ha abortál a tranzakció (parent
törlés Elasticban) akkor azért ne maradjon tartósan ott. Akkor ne
hívjuk tranzakciónak, de próbált valaki így _parent -tel összefogni
rekordokat (dokumentumokat)?

Az megnyugtató hír, hogy a gc-re és hálózati dugókra viszonylag
rezisztens szerintetek!

Köszi,
Magyusz

2016-05-23 10:28 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
> üzemeltetést nem a mi csapatunk végzi, megkérdezem majd a devops-t, de ha
> nagy szívások lettek volna biztos hallottuk volna hírét. :) tranzakciót (még
> kvázi, idézőjeles, apróbetűs részként is) felejtsd el sztem, nem arra való.
> mi logot tolunk bele, statisztikákhoz adatokat, egyéb analitikai forrást.
> 1-1 elveszik nem para, a tendencia a fontos. etetése is aszinkron megy,
> logstash vagy akka eteti. ha gc fut vagy hálózati dugó van akkor sem szabad
> hogy a kiszolgálást megakassza az elastic etetése.
>
> b.
>
> 2016-05-23 10:19 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
>>
>> Jönnek majd elő folyamatosan a kérdések, pont ezért gondoltam
>> egyszerűbb lenne olyan kollégát keresni, akinek már van jelentős
>> tapasztalata, de ez valószínűleg nehéz lesz. Ha segítőkész a levlista,
>> és ezek szerint vagytok többen is akik tudhatnak válaszolni, szívesen
>> felteszek pár kérdést, ami jelenleg foglalkoztat, de biztosan lesz
>> több is majd ahogy belemerülünk:
>>
>> A proof of concept során még csak egy nodeon használtam. Fogunk nagyon
>> sokat szívni több nodeon? Mi az éles üzemeltetési tapasztalat, cluster
>> szétesésekre, random node lehalásokra gyakran lehet számítani? Rövid
>> hálózati kimaradásokat jól kezel a cluster?
>>
>> Tranzakciókezelés részbeni utánzására ezt a
>> https://blog.codecentric.de/en/2014/10/transactions-elasticsearch/
>> linken leírt _parent/refresh() módszert néztem ki. Van valami javasolt
>> rekordszám / adatmennyiség, aminél többet már jó lenne nem egyetlen
>> (erősen idézőjeles) "tranzakcióba" tenni?
>>
>> Garbage collection (Coherence tapasztalataim után fontosnak tartom
>> megkérdezni): Sokat kellett a (memória) beállításokat tweakelgetni,
>> hogy ne a "legrosszabbkor" jöjjön be egy sok másodperces garbage
>> collection vagy ezzel sosem volt gond nálatok production környezetben?
>>
>> Köszi a válaszokat előre is,
>> Magyusz
>>
>> 2016-05-23 9:48 GMT+02:00 Zsombor <gzsombor at gmail.com>:
>> > Szerintem egyértelműen az volt :) Ha nem, akkor talált volna egy tényleg
>> > releváns kérdést, problémát is ;)
>> >
>> > Amúgy jah, jó pár projekten láttam már, hogy használják, különböző
>> > cégeknél,
>> > még az országban is :)
>> >
>> > üdv
>> >  Zs
>> >
>> > 2016-05-23 8:49 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
>> >>
>> >> Szia
>> >>
>> >> Mi eleg sok projekt alatt hasznaljuk, de nem akarok bedolni a jo
>> >> sales-es
>> >> levelnek.
>> >> Tenyleg van kerdesed vagy ez csak egy allashirdetes volt? :)
>> >>
>> >> B.
>> >>
>> >> 2016-05-22 23:25 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
>> >>>
>> >>> Sziasztok!
>> >>>
>> >>> Foglalkozik valaki Elasticsearch technológiával közületek? Magyar
>> >>> Elasticsearch fórum híján gondoltam itt a legcélszerűbb megkérdezni,
>> >>> mivel teljesen Javaban íródott. Érdekelne pár általános tapasztalat,
>> >>> pl. mivel szívtatok a legtöbbet, megbántátok-e, hogy az Elasticsearch
>> >>> mellett döntöttetek.
>> >>>
>> >>> Nem tudom mennyire elterjedt magyar projekteken, de nekem elég
>> >>> szimpatikus bizonyos feladatokra. Hozza a szokásos NoSQL
>> >>> kényelmetlenségeket, de a Lucene régi betegségeit teljesen áthidalja
>> >>> eddigi kevéske tapasztalatom alapján.
>> >>>
>> >>> Ha valaki már dolgozott vele, jónak érzi magát benne, és szeretne vele
>> >>> foglalkozni, akkor érdekes lehet ez az állás:
>> >>> http://idmsolutions.hu/DevJob201607.php
>> >>>
>> >>> Szép hetet kívánok,
>> >>> Magyusz
>> >>> _______________________________________________
>> >>> Javalist mailing list
>> >>> Javalist at lists.javaforum.hu
>> >>> http://lists.javaforum.hu/mailman/listinfo/javalist
>> >>
>> >>
>> >>
>> >> _______________________________________________
>> >> Javalist mailing list
>> >> Javalist at lists.javaforum.hu
>> >> http://lists.javaforum.hu/mailman/listinfo/javalist
>> >>
>> >
>> >
>> > _______________________________________________
>> > Javalist mailing list
>> > Javalist at lists.javaforum.hu
>> > http://lists.javaforum.hu/mailman/listinfo/javalist
>> >
>> _______________________________________________
>> Javalist mailing list
>> Javalist at lists.javaforum.hu
>> http://lists.javaforum.hu/mailman/listinfo/javalist
>
>
>
> _______________________________________________
> Javalist mailing list
> Javalist at lists.javaforum.hu
> http://lists.javaforum.hu/mailman/listinfo/javalist
>