Söker feedback för mitt senaste projekt: DomainStats.io

[Jim Westergren]

DomainStats.io är mitt senaste projekt där jag samlat en massa info för en massa domäner.

Jag har crawlat startsidan på lite över 4 miljoner domäner varav 1 miljon är .se domäner.
Jag har även data från Ahrefs, Moz, Majestic, Alexa, spamlistor med mera på de flesta .se domänerna och en del andra siffror och info.

Jag mäter även hur siffror ändrar sig historiskt.

Här är till exempel info för en del sajter:
http://domainstats.io/seo-forum.se
http://domainstats.io/seo-guide.se
http://domainstats.io/seo.se

Det är bara att skriva in vilken domän som helst.

Jag söker nu feedback för att göra bättre inför lansering.

Tack på förhand!

[Håkan Persson]

Spontant undrande till varför ens Google pagerank finns med som mått. Upplever det som minst sagt vilseledande.

[Petter Hedman]

Jag gillar verktyget!

Finns flera bra funktioner. Ser gärna en utökning av rankplaceringar. Typ 20 fler placeringar.

Webbplatserna som visar längst ner på sidan skulle det kunna vara relaterade sidor till den sidan som man vill ha fram information om?

[Jim Westergren]

Spontant undrande till varför ens Google pagerank finns med som mått. Upplever det som minst sagt vilseledande.

Jo, men samma sak kan även sägas om andra siffror till exempel antal likes på facebook. Men att presentera så många olika siffror som möjligt så ger det en bättre bild anser jag själv i alla fall. En hög PageRank visar att sajten haft en viss historisk - och det är ju faktiskt den enda siffran som faktiskt kommer från Google. Dumt att inte ha med den.

Jag gillar verktyget!

Finns flera bra funktioner. Ser gärna en utökning av rankplaceringar. Typ 20 fler placeringar.

Webbplatserna som visar längst ner på sidan skulle det kunna vara relaterade sidor till den sidan som man vill ha fram information om?

Trevligt att du gillar verktyget Petter. Jag tar till mig din feedback. Att visa relaterad sidor är något som är planerat längre fram.

[lukas]

Jag gillar verktyget! Ska ta mig en närmare titt på det under dagen så återkommer jag med komplett feedback

[Petter Hedman]

Kommer verktyget att kosta pengar eller kommer du att släppa det gratis?

[Jim Westergren]

Det kommer att vara gratis, även API kommer vara gratis.
Det som kommer kosta är om man vill se/hämta mycket data.

Jag tror gränsen just nu är 100 sidor per dag gratis.

[Petter Hedman]

Riktigt bra Jim!

Tackar!

[Jontz]

Ser bra ut! Dock verkar länkarna från ahrefs vara gamla?

[Jim Westergren]

Ser bra ut! Dock verkar länkarna från ahrefs vara gamla?

Nere till höger i varje box står datum. Gällande inlänkarna från ahrefs så cachar jag upp till 20 dagar. Jag hämtar heller inte alla inlänkar.
var det någon av dessa 2 som du syftade på?
http://domainstats.io/jontz.se
http://domainstats.io/johanneslarsson.com

[davidh83]

Nice. Viktigaste för mig är DA, TF, CT och referring domains. Tror inte du hade med det sistnämnda. En länk till the Wayback Machine hade vart grymt med så man kan se om domänen använts som PBN (blivit droppad).

[Jim Westergren]

"Domäner som länkar in" står under rubriken "Data från Ahrefs".
Data från wayback machine med länk finns även med, dock inte om domänen är ny i databasen. Tar ett tag för cronjobbet att samla info.

[davidh83]

Hitta det nu, grymt!

[Jim Westergren]

Nu är ny design klar + logga + favicon:
http://domainstats.io/seo-forum.se

Även API är klart!
http://api.domainstats.io/

Vad tycks?

[marer]

Problemet är att det inte går att lita på verktygets stat längre. Likväl som Wincher tappade styrfart och började bugga ordentligt känns det som om Sökdata.se mm har samma problem tyvärr.

Går ju inte direkt att trycka in 25 000 sökord osv om du inte kan lita på staten

just my trwo sense

Gillar verktygen annars

[AaronAxelsson]

Problemet är att det inte går att lita på verktygets stat längre. Likväl som Wincher tappade styrfart och började bugga ordentligt känns det som om Sökdata.se mm har samma problem tyvärr.

Vad är det som inte stämmer? Jag använder mest Wincher, och jag har hittills inte hittat några större buggar i rankingdatan.

[Jim Westergren]

Jag crawlar numera mer av webben och sparar länkar som jag visar i Domainstats.
Just nu har jag sparat 259 miljoner länkar och jag sparar ca 5 miljoner mer per dag.
Jag sparar endast länkar utan nofollow och på sidor från startsidor eller undersida 1 nivå från startsidan.
Denna data visas nu i Domainstats tillsammans med data om mest använda ankartexter, IP från länkande sajter och TLDs.

Lite framöver vill jag även skapa en egen länkkraft siffra och det är mycket spännande.

[Whey]

Mycket bra och säkert verktyg, men framförallt överraskande snabbt.

[Bansagi]

Riktigt snyggt jobbat!

Använder verktyget numer varje dag, både snabbt och stabilt. Fråga - vid Registration details, går det få in även när domänen går ut?

[Jim Westergren]

Tack så mycket.

För alla .se och .nu som är schemalagda att gå ut så visas info om detta.
Exempel http://domainstats.io/tivedenflyfish.se "To be released on the: 2016-03-29 (11 dagar)"

[Whey]

Konsekvensen av dålig SEO
Intressant nog så visar ju Domainstats lite historik kring konsekvenserna av dålig SEO Sökmotoroptimering och dess förödande konsekvenser, vilket ger verktyget djup. Något som syns tydligt i staplarna kring sökmotorgenererad trafik till interflora som försvann från google mer eller mindre helt runt april 2013. En verklig mardröm för varje Ehandlare i graf och siffror. Vad det betyder kan nog de flesta förstå. http://domainstats.io/interflora.co.uk

Den första stapeln beskriver varje Ehandlares mardröm, plötsligt finns du inte längre i SERPEN.
Men den andra stapeln kan den fullständigt explosiva utvecklingen visa förstadiet till något liknande, eller vad säger den egentligen?


Alla kanske inte försöker komma upp i PR hela tiden så vad kan egentligen dessa faktiska data leverera för någon sanning? Vad säger då Googles egna page rang om Google? Lite kaka på kaka blir det, är det rulltårta eller pannkaka?




Ett förvånansvärt djup i den illersnabba domainstats.io som också väcker lite frågor om vad allt egentligen betyder. Med så mycket data presenterat från ett så snabbt verktyg hoppas jag att det är ok att belysa lite kring betydelsen av vad varje data egentligen betyder och hur det ska tolkas. Vad finns egentligen att säga om Page rank hos Google.com. Under samma period låg tex interflora PR rock steady , någon som vågar sig på en gissning. Ett bra verktyg men förstår vi allt vi får från det?

[AaronAxelsson]

Vad finns egentligen att säga om Page rank hos Google.com. Under samma period låg tex interflora PR rock steady , någon som vågar sig på en gissning. Ett bra verktyg men förstår vi allt vi får från det?

De skickade ut dålig data i systemet. Det var också, enligt dem själva, en av anledningarna till att de först slutade uppdatera datan för Toolbar Pagerank, och nu helt tagit bort den.

[Whey]

Ah, tack för det Aaron
-
Några saker som Domainstats inte klarar av i grundinställningarna är domänernas naturliga böjning globalt, vet inte alls om problemet är speciellt stort eller om fler noterat det
news.google.se från sverige går bra - men HK motsvarigheten går inte pga av förinställningarna
news.google.com.hk Fungerar inte
news.google.com.cn Fungerar inte nedlagt förvisso, men news.sina.com.cn
news.google.co.uk Ooops den gick visst.. du har med andra ord redan skapat en regel för detta

Sedan är det kanske bara de som sysslar med diverse mätningar av kantfenomen som skulle vilja ha en domän som börjar med
http ://http
http ://www.http. .... i 99% är nog fel ifyllt, men alla som fyller i formuläret så, stammar inte när de tänker.

Har ingen aning om hurpass relevant för gemene hen, men det är anomalier jag har råkat på som gemen man.

Jim, får jag fråga varför du gjorde verktyget? Ett stort och brett verktyg som borde kosta en massa att göra och ha så snabb lina till etc. Vad vill du att andra ska få ut av det? Som gratisverktyg är det ju suveränt och som gadget med en tilltalande bild kan det vara svårt att säga nej till, men det är kanske inte maximal spridning som är vad konstruktören tänkt sig... Det kan om inte annat vara skönt att veta och kunna berätta vad skaparen tänkt sig om och kring det egna verktyget...

[spexer]

Snabbt och smidigt, du bygger riktigt fina webbtjänster. Först gratis webhosting med n.nu och nu den här, klass och kvalitet.

Bara att tacka och bocka!

[Jim Westergren]

Whey, jag ignorerar och blockerar medvetet den asiatiska delen av internet som är giganstisk stor. Till exempel domäner som slutar på .cn och .com.hk.

Nu funkar dessa former med:
http://domainstats.io/http://http://google.se
http://domainstats.io/http://www.http://google.se
Känns dock som att du ska använda bulk istället för det: http://domainstats.io/tools/bulk

Jim, får jag fråga varför du gjorde verktyget? Ett stort och brett verktyg som borde kosta en massa att göra och ha så snabb lina till etc. Vad vill du att andra ska få ut av det? Som gratisverktyg är det ju suveränt och som gadget med en tilltalande bild kan det vara svårt att säga nej till, men det är kanske inte maximal spridning som är vad konstruktören tänkt sig... Det kan om inte annat vara skönt att veta och kunna berätta vad skaparen tänkt sig om och kring det egna verktyget...

Det är framför allt i eget syfte som jag gjort verktyget. Datan används i en del interna verktyg hos TodaysWeb till stor nytta.
Sen är det ju klart att jag önskar att det blir populärt och även tjänar pengar på det. Jag har lagt massor av tid på utveckling så något annat vore konstigt.

[Jim Westergren]

Snabbt och smidigt, du bygger riktigt fina webbtjänster. Först gratis webhosting med n.nu och nu den här, klass och kvalitet.

Bara att tacka och bocka!

Tack! Men missa inte heller att kika in http://sökdata.se/ och https://redistats.com/

Nytt med DomainStats:

• 4 stycken nya verktyg på http://domainstats.io/tools/
  
• Nu över 500 miljoner länkar sparade i databasen.
• Mycket ny data importerad/sparad/hämtad.

[Jim Westergren]

Tänkte skriva lite om de senaste äventyren jag haft med Domainstats uteckling. Finns en del som är intresserade av att läsa hur det går. Jag sitter även just nu själv så även kul att dela med sig.

Servern började gå på knäna och jag visste att det var mysql. Load låg konstant på ca 10 och queries köades upp hela tiden, sajten var riktigt seg, och då hade jag ändå stängt av alla cronjobben (datainsamling, crawling). Databasen var en compressed innodb på ca 100 GB. Den största tabellen med länkarna var över 50 GB med ca 550 miljoner rader. Även med perfekta index så hjälpte det inte, alla queries som rörde den tabellen var seg. Snitttiden för Googlebot att hämta URLer blev som värst 18 sekunder.
Det andra stora problemet var att det endast fanns 40 GB kvar innan hårddisken skulle ta slut och jag vet att jag vill ju crawla och spara mycket mer länkar, kanske tiodubbelt så mycket.

Fast besluten att lösa detta så studerade jag en massa andra olika NoSQL databaslösningar och fastnade till slut för mongodb och cassandra. Jag måste välja en av dessa och jag läste väldigt mycket på nätet om dessa 2 lösningar. Jag anlitade även en del personer genom upwork men det gick inte så bra så jag beslöt mig för att fixa det själv istället.

Jag valde till slut cassandra eftersom det finns en hel del fall där startups flyttar från mongodb till cassandra men jag har aldrig stött på någon som gjort det omvända. Cassandra verkar även mycket bättre när det handlar om intensivt med writes vilket det är i mitt fall.

Jag beställde den dedikerade servern #2 (EX51-SSD hos Hetzer) och fick den installerad i samma datacenter. Installation av Cassandra var rätt enkelt förutom lite klydd gällande rätt version av java. Däremot att få PHP drivern installerad var ett jävelskap som tog rätt många timmar att lösa. Installation enligt instruktionerna går inte utan blir konflikt med någon dependency gällande libuv osv ... men jag löste det till slut. Jag hade helst velat ha PHP 7 såklart men det fick jag skippa eftersom det inte gick med drivern.

Jag flyttade sedan ca 3 miljoner filer från server 1 till server 2 med hjälp av tar och rsync (favicons, printscreens och cache-filer) och ändrade om mysql så att php på server 2 kopplar till mysql på server 1. Ändrade sedan om i DNS och det fungerade felfritt i stort sett direkt (förutom en miss att php måste äga filerna och inte root men det var snabbt ändrat).

Nu på server 1 fanns det bara mysql och inget annat. Steg 1 klart. Server 2 hade nu ingen load alls och server 1 gick fortfarande på knäna men det gick minimalt bättre, nåja.

Steg 2: Skriv om PHP så att inga MySQL joins görs mot de stora tabellerna. Cassandra stödjer inte heller joins.
Detta blev klart och load gick ner en hel del. Detta steg gick faktiskt smidigt.

Steg 3 flytta den största tabellen till cassandra. När du skapar tabellen så är det väldigt viktigt att klura ut hur din nyckel ska se och detta var lite knepigt. Här rekommenderar jag att man testar och verkligen är säker innan man tar nästa steg. Mycket bra info här http://stackoverflow.com/a/24953331/1554653. Jag kom fram till 1 primärnyckel med 2 klusternycklar som bästa val för min tabell.

Steg 4, importera data från MySQL till Cassandra. Här skrev jag ett enkelt skript i PHP som loopar och insertar. Till en början gjorde jag ca 4000 inserts per sekund men ökade sedan till ca 12 000 vilka var inga problem alls för Cassandra - flaskhalsen var selecten från mysql. Tänk dock på att 12 000 per sekund = ca 13 timmar non-stop för 550 miljoner rader. Min laptop fick vara igång och köra under natten.

Sista steget var att sedan ändra i PHP så att den data som nu finns i cassandra selectas därifrån och det var faktiskt lätt.

Jag droppade sedan den 50 GB stora tabellen och startade om mysql.

Jag har nu åter aktiverat cron-jobben och load är nu:

server 1 (mysql): 2,4
server 2 (php, cassandra, filer): 0,3

Och snitthämtningstid för Googlebot har gått ner till ca 5 sekunder.

Detta är grymt bra. En annan sak som förvånar mig är att dels är cassandra blixtsnabb och dels så använder den mycket mindre utrymme på disk än vad compressed innodb gjorde - ca hälvten och då har jag ändå replication 1.

Nästa steg är att flytta över andra tabeller från mysql till cassandra men det blir lite svårare och de är inte alls lika stora så det är ett senare projekt.

Jag vill kunna crawla och spara tillräckligt mycket länkar för att kunna skapa min egen länksiffra likt trustflow eller liknande och det känns nu möjligt att kunna göra detta vilket känns jättebra.

[Petter Hedman]

Jag är tacksam för detta verktyg, som jag nämnde på Twitter!

Använder det varje dag

Keep up the good work!

[Jim Westergren]

Nu har jag även släppt backlinks data i detta API.

Länkar till en viss domän:
http://api.domainstats.io/links_to/c...ret_token=test

Länkar från en viss domän:
http://api.domainstats.io/links_from...ret_token=test

Något som ni ser som bör ändras eller korrigeras? Synpunkter på något?

Välkommen att använda detta, det är gratis. Ge gärna feedback.

Jag vet att servern går lite segt just nu men det kommer att lösa sig senare när jag migrerat fler MySQL tabeller till Cassandra.

[luckystrike]

Hittade detta nu, wow vilket tool. Grymt jobbat och tack så mycket för att du delar med dig!