[Javalist] Elasticsearch: ki használja?

2016. Május. 23., H, 11:09:49 CEST

Nem tudom, hogy megéri -e szenvedni ezzel a tranzakciós dologgal, ha
belegondolsz, egy updatet még bonyolultabb megoldani így : vagy létre hozol
új rekordokat külön verzió számmal és a lekérdezéskor próbálod a legújabbat
visszakapni, vagy update során törlöd ezeket a korábbi dokumentumokat.
 Mi azt választottuk, hogy transaction commit-ra kötöttünk rá springes
listenereket, amik szépen frissítik a megváltozott objektumokat. Eddig
működőnek tűnik a pattern. S igen, kicsivel később lesz kereshető, miután a
db commit lezárult.

2016-05-23 11:02 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:

> Tudom, hogy legtöbben loganalízisra / montirongra használják (ELK)...
> Splunk helyett :P de nekünk nem arra kell. Ha 1-1 rekord elveszik az
> sem kényelmes, mert ugyan ott az adatbázis, mint megbízható
> adatforrás, de nem szeretném rendszeresen az egészet újraindexelni (mi
> van, ha közben keres valaki). Voltam egy előadáson, ahol két az
> Elastic cégnél dolgozó tech szaki beszélt az elég gyakorlatias
> bemutató során, és abból nekem az jött le, hogy ezt előre (tervezői
> döntések, cluster kialakítás során beállítások) el kell dönteni, de ha
> fontos a usernek, akkor biztosítható a konzisztencia, elkerülhető az
> adatvesztés. Én ezt némi régi Lucene tapasztalattal el is hittem
> nekik. Remélem nem vertek át, mert nem esne jól, hogy néha random
> eltűnnek dolgok az indexből, amikről én azt hiszem, hogy leindexeltem
> sikeresen. Volt konkrétan ilyen tapasztalatotok?
>
> Az, hogy a "tranzakcióból" (azért hívom így, mert DB-ből másolunk át
> adatokat Elasticsearchbe, hogy gyorsabban lehessen keresni) kilátszik
> néhány rekord az nem nagy gond, csak ha abortál a tranzakció (parent
> törlés Elasticban) akkor azért ne maradjon tartósan ott. Akkor ne
> hívjuk tranzakciónak, de próbált valaki így _parent -tel összefogni
> rekordokat (dokumentumokat)?
>
> Az megnyugtató hír, hogy a gc-re és hálózati dugókra viszonylag
> rezisztens szerintetek!
>
> Köszi,
> Magyusz
>
> 2016-05-23 10:28 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
> > üzemeltetést nem a mi csapatunk végzi, megkérdezem majd a devops-t, de ha
> > nagy szívások lettek volna biztos hallottuk volna hírét. :) tranzakciót
> (még
> > kvázi, idézőjeles, apróbetűs részként is) felejtsd el sztem, nem arra
> való.
> > mi logot tolunk bele, statisztikákhoz adatokat, egyéb analitikai forrást.
> > 1-1 elveszik nem para, a tendencia a fontos. etetése is aszinkron megy,
> > logstash vagy akka eteti. ha gc fut vagy hálózati dugó van akkor sem
> szabad
> > hogy a kiszolgálást megakassza az elastic etetése.
> >
> > b.
> >
> > 2016-05-23 10:19 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
> >>
> >> Jönnek majd elő folyamatosan a kérdések, pont ezért gondoltam
> >> egyszerűbb lenne olyan kollégát keresni, akinek már van jelentős
> >> tapasztalata, de ez valószínűleg nehéz lesz. Ha segítőkész a levlista,
> >> és ezek szerint vagytok többen is akik tudhatnak válaszolni, szívesen
> >> felteszek pár kérdést, ami jelenleg foglalkoztat, de biztosan lesz
> >> több is majd ahogy belemerülünk:
> >>
> >> A proof of concept során még csak egy nodeon használtam. Fogunk nagyon
> >> sokat szívni több nodeon? Mi az éles üzemeltetési tapasztalat, cluster
> >> szétesésekre, random node lehalásokra gyakran lehet számítani? Rövid
> >> hálózati kimaradásokat jól kezel a cluster?
> >>
> >> Tranzakciókezelés részbeni utánzására ezt a
> >> https://blog.codecentric.de/en/2014/10/transactions-elasticsearch/
> >> linken leírt _parent/refresh() módszert néztem ki. Van valami javasolt
> >> rekordszám / adatmennyiség, aminél többet már jó lenne nem egyetlen
> >> (erősen idézőjeles) "tranzakcióba" tenni?
> >>
> >> Garbage collection (Coherence tapasztalataim után fontosnak tartom
> >> megkérdezni): Sokat kellett a (memória) beállításokat tweakelgetni,
> >> hogy ne a "legrosszabbkor" jöjjön be egy sok másodperces garbage
> >> collection vagy ezzel sosem volt gond nálatok production környezetben?
> >>
> >> Köszi a válaszokat előre is,
> >> Magyusz
> >>
> >> 2016-05-23 9:48 GMT+02:00 Zsombor <gzsombor at gmail.com>:
> >> > Szerintem egyértelműen az volt :) Ha nem, akkor talált volna egy
> tényleg
> >> > releváns kérdést, problémát is ;)
> >> >
> >> > Amúgy jah, jó pár projekten láttam már, hogy használják, különböző
> >> > cégeknél,
> >> > még az országban is :)
> >> >
> >> > üdv
> >> >  Zs
> >> >
> >> > 2016-05-23 8:49 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
> >> >>
> >> >> Szia
> >> >>
> >> >> Mi eleg sok projekt alatt hasznaljuk, de nem akarok bedolni a jo
> >> >> sales-es
> >> >> levelnek.
> >> >> Tenyleg van kerdesed vagy ez csak egy allashirdetes volt? :)
> >> >>
> >> >> B.
> >> >>
> >> >> 2016-05-22 23:25 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
> >> >>>
> >> >>> Sziasztok!
> >> >>>
> >> >>> Foglalkozik valaki Elasticsearch technológiával közületek? Magyar
> >> >>> Elasticsearch fórum híján gondoltam itt a legcélszerűbb megkérdezni,
> >> >>> mivel teljesen Javaban íródott. Érdekelne pár általános tapasztalat,
> >> >>> pl. mivel szívtatok a legtöbbet, megbántátok-e, hogy az
> Elasticsearch
> >> >>> mellett döntöttetek.
> >> >>>
> >> >>> Nem tudom mennyire elterjedt magyar projekteken, de nekem elég
> >> >>> szimpatikus bizonyos feladatokra. Hozza a szokásos NoSQL
> >> >>> kényelmetlenségeket, de a Lucene régi betegségeit teljesen áthidalja
> >> >>> eddigi kevéske tapasztalatom alapján.
> >> >>>
> >> >>> Ha valaki már dolgozott vele, jónak érzi magát benne, és szeretne
> vele
> >> >>> foglalkozni, akkor érdekes lehet ez az állás:
> >> >>> http://idmsolutions.hu/DevJob201607.php
> >> >>>
> >> >>> Szép hetet kívánok,
> >> >>> Magyusz
> >> >>> _______________________________________________
> >> >>> Javalist mailing list
> >> >>> Javalist at lists.javaforum.hu
> >> >>> http://lists.javaforum.hu/mailman/listinfo/javalist
> >> >>
> >> >>
> >> >>
> >> >> _______________________________________________
> >> >> Javalist mailing list
> >> >> Javalist at lists.javaforum.hu
> >> >> http://lists.javaforum.hu/mailman/listinfo/javalist
> >> >>
> >> >
> >> >
> >> > _______________________________________________
> >> > Javalist mailing list
> >> > Javalist at lists.javaforum.hu
> >> > http://lists.javaforum.hu/mailman/listinfo/javalist
> >> >
> >> _______________________________________________
> >> Javalist mailing list
> >> Javalist at lists.javaforum.hu
> >> http://lists.javaforum.hu/mailman/listinfo/javalist
> >
> >
> >
> > _______________________________________________
> > Javalist mailing list
> > Javalist at lists.javaforum.hu
> > http://lists.javaforum.hu/mailman/listinfo/javalist
> >
> _______________________________________________
> Javalist mailing list
> Javalist at lists.javaforum.hu
> http://lists.javaforum.hu/mailman/listinfo/javalist
>
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lists.javaforum.hu/pipermail/javalist/attachments/20160523/5ff5c3d3/attachment.html>