polopolyforum.se

Nu när sommaren börjar lida mot sitt slut och hösten knackar på så tar vi nya tag här på Polopolyforum.se.
Genom ett inledande möte med Anders Weinitz (produktansvarig på Atex Polopoly) i fredags så  fick vi se en demo av nyheterna i version 9.13 och vi passade samtidigt på att fråga om en del oklarheter som har dykt upp inför en eventuell uppgradering. 

Version 9.13, steg 1 i att skapa en robust metadatasökning

Version 9.13 är det första steget i att skapa en stabil metadatasökning och på plats finns nu:

• Taggmotorn Solr som hanterar indexeringen.
• Nya dimensioner i kategoriseringen (person, företag, taggar, plats)
• Atex Textmining som används för att generera förslag till de nya kategoriseringsdimensionerna baserat på inmatad titel och text i artikeln (Atex Textmining kommer dock ha en separat prislapp)
• Ny publiceringskö som baseras på valda kategorier från den nya kategoriseringswidgeten.

Man har även ändrat de taggar/kategorier som följer med som default och dessa taggar har de baserat på IPTC (International Press Telecommunications Council) i förhoppningen att de ska vara mer användbara än de som tidigare som följde med produkten.

Frågor och svar

När 9.13 släpptes och arbetet med uppgradering/migrering startade så kom en del frågor upp som behövde besvaras , här är några av de frågor som vi fick svar på

Fråga: Kommer vi behöva ha både Solr och indexservern nu eller kommer indexservern  att tas bort framöver?
Svar: Vårt mål är att få bort indexservern under hösten, den kan dock komma att finnas kvar som en fasad för vissa speciella ändamål.

Fråga: Kan man bygga egna dimensioner liknande de inbyggda?
Svar: Ja, men de kan inte kommunicera med Solr i nuläget.

Fråga: Kan man uppgradera till 9.13 utan att använda sig av Solr?
Svar: Ja, det kan man stänga av.

Fråga: Polopolys förslag på topologi som man hittar i dokumentationen ser ut att vara väldigt komplex och dyr om man jämför med många befintliga system, är det något som man måste följa för att detta ska fungera eller går den att simplifiera med lokala Solr slavar på befintliga fronmaskiner o.s.v.?

Svar: Ja, det går att simplifiera. Detta var bara en rekommendation och vi ska se över om vi ska uppdatera dokumentationen eller om vi kan länka in bra information till Solr:s egen dokumentation.

Vad kan vi se fram emot i verion 9.14?

Det är fortfarande ganska tidigt för att prata om detaljer i version 9.14 men i stora drag så kommer det handla om två saker. Det ena är att skapa stöd för att kunna hantera plugins på källkodsnivå, detta så att man enklare ska kunna dela fälttyper mellan projekt. Det andra man kommer lägga krut på är att förbättra prestandan och skalbarheten på frontarmaskinerna.

Mer om detta i kommande inlägg senare i höst.

Taggar: Atex Textmining, cms, demo, forum, IPCT, metadata, metadatasökning, polopoly, polopolyforum, solr, version 9.13, version 9.14

Den 7 juli släpper Polopoly version 9.13 och Polopolyforum satte sig återigen ned med Polopolys produktchef Anders Weijnitz och gick igenom vad som kommer i nästa version men också hur han ser på resten av året. Så håll utkik efter fler bloggposter inom kort för att höra vad Anders pratade om förutom 9.13.

Bättre stöd för (sök)metadatadrivna delar på webbplatser

Vad är skillnaden kanske du undrar, publiceringsköer och annat har ju alltid haft möjligheten att vara baserade på metadatasökningar från Lucene? Jo, det stämmer, men  många av Atex Polopolyskunder har de senaste åren märkt en drastisk ökning i metadatasökningar och Polopolys systemarkitektur har helt enkelt inte klarat av det förändrade beteendet, eftersom alla sökningar måste gå via backend.

Vad Polopoly gjort är att bygga in Apaches Enterprise Search Server Solr (byggd på Lucene), vilket har gett möjligheten för Polopoly att splitta upp fritextsökning från metadatasökning och lägga dem i olika index. Polopoly utnyttjar sedan Solrs möjlighet att distribuera sökindex till andra servrar, vilket gör att metadataindex från och med 9.13 kommer att finnas lokalt på alla frontmaskiner, och därmed klara att backendservern går ner. I och med det kommer också naturligtvis förfrågningarna till backendservern att minska drastiskt för webbplatser med mycket metadata frågor.

Så Lucene är autonomt nu?

Nej tyvärr inte, de index som distribueras till frontarna är ännu så länge bara de som innehåller metadata och inte de som möjligör  fritextsökningar, så om er webbplats använder er av fritext sökning via Lucence så är ni fortfarande tvugna att gå via backendservern och hoppas att den är uppe.

Text-mining med ”Temis Luxid text mining engine”

Polopoly kommer via web services integrera Temis Luxid text mining engine. Temis är ett text mining program som ur texter kan plocka fram olika typer av entiteter så som personer, platser och företag. Till att börja med kommer Polopoly att vid sparning skicka sitt textinnehåll till Temis som skickar tillbaka metadata som den funnit i texterna. Temis är en produkt från Atex så stödet för svenska, är troligen inte hundraprocentigt ännu. Å andra sidan har OpenCalais inget stöd för svenska alls så bättre bör det bli.

Riktigt hur mycket integration som kommer att komma med Termis i 9.13 är i dagsläget lite oklart, Anders föklarade att produkten är kompetent men att kompetensen om Termis bland Polopolysutvecklare ännu är låg, så det kan bli så att delar av Termis integrationen kommer i senare 9.13.*-versioner.

Ändrad bildgenerering
För er som har mycket bilder på sajterna kommer ändringen av bildhanteringen som en bonus, förrut skapades och sparades alla bilder i olika versioner så som mobil, tumnaglar, etc. på backendservern. Detta är nu ändrat så att cm-servern ändast sparar orginalfilen och alla bildvarianter skapas och lagras på frontarna. Detta kommer potentiellt att spara mycket utrymme i databasen.

Taggar: 9.13, solr, Temis, text mining

Jag och Niklas har bokat in möte med Anders Weijnitz nu i mitten av maj för att få en förhandstitt på nyheterna i nästa version av Polopoly 9.13 som kommer släppas den 7 juli.

Anders säger i ett majl att de haft fokus på metadatadrivna sajter, och som del av det har de börjat experimentera med Solr och distribuerade sökindex på frontarna.

Vi återkommer efter mötet med en full redogörelse av nyheterna i 9.13.

Taggar: 9.13, Nyheter, solr