[Javalist] Elasticsearch: ki használja?

2016. Május. 23., H, 11:05:52 CEST

Mi használjuk pont ilyen adatbázis mirroring célra, pont azért mert a
forrás nagyon lassú.
Egyelőre hibátlanul teszi a dolgát.

2016-05-23 11:02 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
> Tudom, hogy legtöbben loganalízisra / montirongra használják (ELK)...
> Splunk helyett :P de nekünk nem arra kell. Ha 1-1 rekord elveszik az
> sem kényelmes, mert ugyan ott az adatbázis, mint megbízható
> adatforrás, de nem szeretném rendszeresen az egészet újraindexelni (mi
> van, ha közben keres valaki). Voltam egy előadáson, ahol két az
> Elastic cégnél dolgozó tech szaki beszélt az elég gyakorlatias
> bemutató során, és abból nekem az jött le, hogy ezt előre (tervezői
> döntések, cluster kialakítás során beállítások) el kell dönteni, de ha
> fontos a usernek, akkor biztosítható a konzisztencia, elkerülhető az
> adatvesztés. Én ezt némi régi Lucene tapasztalattal el is hittem
> nekik. Remélem nem vertek át, mert nem esne jól, hogy néha random
> eltűnnek dolgok az indexből, amikről én azt hiszem, hogy leindexeltem
> sikeresen. Volt konkrétan ilyen tapasztalatotok?
>
> Az, hogy a "tranzakcióból" (azért hívom így, mert DB-ből másolunk át
> adatokat Elasticsearchbe, hogy gyorsabban lehessen keresni) kilátszik
> néhány rekord az nem nagy gond, csak ha abortál a tranzakció (parent
> törlés Elasticban) akkor azért ne maradjon tartósan ott. Akkor ne
> hívjuk tranzakciónak, de próbált valaki így _parent -tel összefogni
> rekordokat (dokumentumokat)?
>
> Az megnyugtató hír, hogy a gc-re és hálózati dugókra viszonylag
> rezisztens szerintetek!
>
> Köszi,
> Magyusz
>
> 2016-05-23 10:28 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
>> üzemeltetést nem a mi csapatunk végzi, megkérdezem majd a devops-t, de ha
>> nagy szívások lettek volna biztos hallottuk volna hírét. :) tranzakciót (még
>> kvázi, idézőjeles, apróbetűs részként is) felejtsd el sztem, nem arra való.
>> mi logot tolunk bele, statisztikákhoz adatokat, egyéb analitikai forrást.
>> 1-1 elveszik nem para, a tendencia a fontos. etetése is aszinkron megy,
>> logstash vagy akka eteti. ha gc fut vagy hálózati dugó van akkor sem szabad
>> hogy a kiszolgálást megakassza az elastic etetése.
>>
>> b.
>>
>> 2016-05-23 10:19 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
>>>
>>> Jönnek majd elő folyamatosan a kérdések, pont ezért gondoltam
>>> egyszerűbb lenne olyan kollégát keresni, akinek már van jelentős
>>> tapasztalata, de ez valószínűleg nehéz lesz. Ha segítőkész a levlista,
>>> és ezek szerint vagytok többen is akik tudhatnak válaszolni, szívesen
>>> felteszek pár kérdést, ami jelenleg foglalkoztat, de biztosan lesz
>>> több is majd ahogy belemerülünk:
>>>
>>> A proof of concept során még csak egy nodeon használtam. Fogunk nagyon
>>> sokat szívni több nodeon? Mi az éles üzemeltetési tapasztalat, cluster
>>> szétesésekre, random node lehalásokra gyakran lehet számítani? Rövid
>>> hálózati kimaradásokat jól kezel a cluster?
>>>
>>> Tranzakciókezelés részbeni utánzására ezt a
>>> https://blog.codecentric.de/en/2014/10/transactions-elasticsearch/
>>> linken leírt _parent/refresh() módszert néztem ki. Van valami javasolt
>>> rekordszám / adatmennyiség, aminél többet már jó lenne nem egyetlen
>>> (erősen idézőjeles) "tranzakcióba" tenni?
>>>
>>> Garbage collection (Coherence tapasztalataim után fontosnak tartom
>>> megkérdezni): Sokat kellett a (memória) beállításokat tweakelgetni,
>>> hogy ne a "legrosszabbkor" jöjjön be egy sok másodperces garbage
>>> collection vagy ezzel sosem volt gond nálatok production környezetben?
>>>
>>> Köszi a válaszokat előre is,
>>> Magyusz
>>>
>>> 2016-05-23 9:48 GMT+02:00 Zsombor <gzsombor at gmail.com>:
>>> > Szerintem egyértelműen az volt :) Ha nem, akkor talált volna egy tényleg
>>> > releváns kérdést, problémát is ;)
>>> >
>>> > Amúgy jah, jó pár projekten láttam már, hogy használják, különböző
>>> > cégeknél,
>>> > még az országban is :)
>>> >
>>> > üdv
>>> >  Zs
>>> >
>>> > 2016-05-23 8:49 GMT+02:00 Hollósi Balázs <balazs at hollosi.me>:
>>> >>
>>> >> Szia
>>> >>
>>> >> Mi eleg sok projekt alatt hasznaljuk, de nem akarok bedolni a jo
>>> >> sales-es
>>> >> levelnek.
>>> >> Tenyleg van kerdesed vagy ez csak egy allashirdetes volt? :)
>>> >>
>>> >> B.
>>> >>
>>> >> 2016-05-22 23:25 GMT+02:00 Tamás Magyar <magyusz at gmail.com>:
>>> >>>
>>> >>> Sziasztok!
>>> >>>
>>> >>> Foglalkozik valaki Elasticsearch technológiával közületek? Magyar
>>> >>> Elasticsearch fórum híján gondoltam itt a legcélszerűbb megkérdezni,
>>> >>> mivel teljesen Javaban íródott. Érdekelne pár általános tapasztalat,
>>> >>> pl. mivel szívtatok a legtöbbet, megbántátok-e, hogy az Elasticsearch
>>> >>> mellett döntöttetek.
>>> >>>
>>> >>> Nem tudom mennyire elterjedt magyar projekteken, de nekem elég
>>> >>> szimpatikus bizonyos feladatokra. Hozza a szokásos NoSQL
>>> >>> kényelmetlenségeket, de a Lucene régi betegségeit teljesen áthidalja
>>> >>> eddigi kevéske tapasztalatom alapján.
>>> >>>
>>> >>> Ha valaki már dolgozott vele, jónak érzi magát benne, és szeretne vele
>>> >>> foglalkozni, akkor érdekes lehet ez az állás:
>>> >>> http://idmsolutions.hu/DevJob201607.php
>>> >>>
>>> >>> Szép hetet kívánok,
>>> >>> Magyusz
>>> >>> _______________________________________________
>>> >>> Javalist mailing list
>>> >>> Javalist at lists.javaforum.hu
>>> >>> http://lists.javaforum.hu/mailman/listinfo/javalist
>>> >>
>>> >>
>>> >>
>>> >> _______________________________________________
>>> >> Javalist mailing list
>>> >> Javalist at lists.javaforum.hu
>>> >> http://lists.javaforum.hu/mailman/listinfo/javalist
>>> >>
>>> >
>>> >
>>> > _______________________________________________
>>> > Javalist mailing list
>>> > Javalist at lists.javaforum.hu
>>> > http://lists.javaforum.hu/mailman/listinfo/javalist
>>> >
>>> _______________________________________________
>>> Javalist mailing list
>>> Javalist at lists.javaforum.hu
>>> http://lists.javaforum.hu/mailman/listinfo/javalist
>>
>>
>>
>> _______________________________________________
>> Javalist mailing list
>> Javalist at lists.javaforum.hu
>> http://lists.javaforum.hu/mailman/listinfo/javalist
>>
> _______________________________________________
> Javalist mailing list
> Javalist at lists.javaforum.hu
> http://lists.javaforum.hu/mailman/listinfo/javalist