Software-update: Pi-hole Web 4.3.3

Terwijl het werk aan versie 5.0 gestaag vordert, is versie 4.3.3 van Pi-hole uitgekomen. Pi-hole is een advertising-aware dns- en webserver bedoeld om te draaien op een Raspberry Pi in het netwerk. Als op de router naar Pi-hole wordt verwezen voor dns-afhandelingen, zullen alle apparaten binnen het netwerk er automatisch gebruik van maken zonder dat er instellingen moeten worden aangepast. Vervolgens worden advertenties niet meer opgehaald, waardoor pagina's sneller laden. In potentie kan er ook malware mee buiten de deur worden gehouden. Voor meer informatie verwijzen we jullie door naar de uitleg en video's op deze pagina, of deze handleiding van tweaker jpgview. In deze uitgave zijn de volgende verbeteringen aangebracht:

Pi-hole Web version 4.3.3

Minor point release to fix CVE-2020-8816, which allows a potential attack vector through the MAC address input.

Versienummer	4.3.3
Releasestatus	Final
Besturingssystemen	Scripttaal
Website	Pi-hole
Download	https://github.com/pi-hole/pi-hole/releases/tag/v4.3.3
Licentietype	GPL

Reacties (134)

[sjhgvr]

Blocklist door moi onderhouden: https://dbl.oisd.nl ( informatie/rapporteren false positives @ reddit)
Mijn visie; de gebruiker zou niets hoeven te moeten whitelisten

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[Jack Flushell]

Blocklist door moi onderhouden: https://dbl.oisd.nl (info @ reddit)
Mijn visie; de gebruiker zou niets hoeven te moeten whitelisten

Ik gebruik deze goede blacklist (elke dag update via cronjob, zie ook reddit) in combinatie met de regex filters vanaf hier, die ik ook dagelijks update via een crojob. 1 RegEx-whitelist om de website van Algemeen Dagblad bereikbaar te houden:

^(.+\.)?ad\.nl$

NB: Voor RegEx-whitelisting heb je wel de beta 5.0 nodig, maar lijkt me voor Tweakers geen probleem .

Deze combi werkt perfect.

[Reactie gewijzigd door Jack Flushell op 24 juli 2024 20:22]

[jpgview]

De keuze, die je maakt, om een regex te gebruiken om het algemeen dagblad te whitelisten is geen goede keuze, je voegt veel beter 'ad.nl' gewoon toe aan de whitelist. Een discussie met de developers gaf mij inzicht in hoe pihole-FTL werkt, een regex vraagt veel meer van het system. De test, die pihole-FTL moet doorlopen kan je hier zien (geef je regex in en click op display). Wanneer je een exact match whitelist entry gebruikt, is de evaluatie veel eenvoudiger, lees minder tijd nodig om het resultaat te bekomen.

Ik begrijp de keuze van @sjhgvr om te streven naar een lijst, waar whitelisten overbodig is (install and forget filosofie), maar ben het er niet mee eens. De mmotti lijst heeft een entry waardoor 'ad.nl' gewhitelist moet worden, de lijst van sjhgvr heeft die entry niet, geen whitelist nodig dus.

So far so good, alleen zal de mmotti regex lijst veel meer af blocken, opnieuw, copy de eerste regex uit de mmotti lijst in regexper en click op display, het word dan duidelijk wat die regex kan doen voor je.

Zolang er geen oplossing bestaat voor het eventueel blocken van 'recently created domains (DGA)', ben ik de mening toegedaan dat je beter iets teveel blocked, dan te weinig.

Whitelist entries hebben in pihole v5 de mogelijkheid tot het toevoegen van een comment. Het argument dat je iets whitelist, en later niet meer weet waarom, heb je dus zelf in de hand.

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[heeten12]

Geldt het ook dat het beter is om exact te blacklisten?

Ik heb nu facebook.com geblacklist via wildcard wat in feite ook een regex regel is. Zou je dan beter je kunnen abonneren op een specifieke Blacklist voor Facebook?

[jpgview]

volgens de developers is de nieuwe gravity database in pihole zo performant, dat een paar honderd extra domains in de database eigenlijk niets uitmaakt. De enige vraag die overblijft is of je er ooit in zult lukken om alle facebook domains, ook die op andere paginas gebruikt worden, op te lijsten.
Zelf gebruik ik deze regex, afkomstig uit het reddit regex sticky topic:

^(.+\.)??(facebook|.*fb.+)\.(com|net)$

hopelijk valt er niets af (formatting) geen idee hoe je op tweakers code moet aangeven (geen formatting), kijk het na op reddit. Conclusie (zie hieronder): vermijd, indien mogelijk het gebruik van regex, als oplossing om b.v. 100 blocklist entries te vervangen door één regex, je betaald dit met performance. Uiteraard moet je wel een lijst vinden die alles afdekt (onmogelijk voor facebook, denk ik)

hier de comment van de lead pihole-FTL developer (deel van de discussie op discourse):
<quote>
Others than that, I tend to disagree on your idea of less gravity and more regex is better. My reasoning is: It hurts performance.
I’ll only shortly explain why, you can ask if something remains unclear.
Gravity domains are now stored in a fully constructed B-tree. The lookup time in this tree model is O(log_2(N)). Without going too much into the technical details, let me just give some numbers:
1000 gravity domains = 10 tree lookups
10,000 domains = 14 tree lookups
100,000 domains = 17 tree lookups
1,000,000 domains = 20 tree lookups
10,000,000 domains = 24 tree lookups
100,000,000 domains = 27 tree lookups
The tree has efficient pointers to its branches so one lookup is also roughly one I/O activity. Given this, the performance impact on having a gravity list which is 1000x larger is almost negligible given the amount of overhead that is necessarily anyway present in the tree lookup process.
Now let’s go back to regex: Yes, regex is also quite performant in FTL. However, even a single regex is likely more expensive than having 100 times the number of domains in gravity. And since we’re not holding any gravity domain (but only the root of the tree) in memory, there is also not really a difference in memory usage here (in fact, Pi-hole v5.0 should use less memory for everyone!).
So with a few regex, it comes down to: It doesn’t really matter - or - doing with more gravity domains is still faster given the v5.0 reality and the tree.
However, on the contrary, I expect the gravity process to be massively delayed if each and every of your million+ domains needs to get passed through all these regex, I expect this to be really slow. I wouldn’t like to see our speed improvements we’ve just arrived at being killed by something I expect to have no notable effect at all during runtime.
</quote>

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[heeten12]

Thanks voor je uitgebreide reactie! Ik check Reddit wel even voor de juiste opmaak.

Ben benieuwd naar v5.0!

[jpgview]

Ik blijf mensen doorverwijzen naar regexper, gooi je regex erin en klik op display, je ziet onmiddelijk wat die regex voor je doet.

beta5 draait al als een trein, sinds 14 dagen ben ik al over gestapt. er komen nog wel dagelijks updates (pihole -up), maar het gaat nog uitsluitend over cosmetic web interface dingen…

LET OP. De developers geven aan dat je van beta5 met pihole -up kan overgaan naar pihole v5 final, maar dit is nog niet bevestigd.

[jpgview]

nieuw dilemma, lees hier (reddit), hier (discourse)

[heeten12]

Ik wacht voor de zekerheid op de final, Ben niet de enige in huis

Volg de discussie op discourse en ga de regex van je overnemen. Goed bezig!

[jpgview]

de regex, die de discussie gewonnen heeft, kan je hier vinden.

werkt uiteraard in pihole v4 en v5

[ultramarine]

Ik wacht nog even met pi-hole versie 4 totdat versie 5 formeel wordt uitgegeven. Tot die tijd wil ik wel graag gebruik maken van de CNAME-inspectietechniek om dergelijke foute cookies te blokkeren. Is het gebruik van nextDNS als upstream-DNS-server in mij pi-hole een goede keuze (nextDNS claimt deze techniek al te gebruiken)?

[jpgview]

Ik heb geen ervaring met NextDNS, ik gebruik unbound als recursive resolver, echter, zoals ik in mijn (draft) pihole v5 manual vermeld, is NextDNS daar blijkbaar wel mee bezig
In mijn manual gebruik ik de entries van de NextDNS GitHub pagina, om regex entries aan te maken. Het zou een beetje raar zijn dat ze de entries wel op GitHub plaatsen maar zelf niet gebruiken. Ik vermoed dat NextDNS een goede keuze is voor jou, toch zou ik je aanraden, omwille van privacy, om eens naar de unbound oplossing te kijken. Je hebt er immers geen idee van, wat NextDNS met jouw data (alle queries die je doet) uitspookt (profiel opbouwen?, ad targeting?, verkopen?)
Installeer ook ublock origin op je pc('s), als je kan, pihole is een DNS blocker, ublock origin doet ook nog wat met scripts op webpagina's.

[ultramarine]

Dank je! Ublock origin heb ik op al mijn pc’s draaien. In de unbound-oplossing ben ik wel geïnteresseerd. De installatie van unbound is me denk ik wel duidelijk, alleen de configuratie ‘Apply a few security and privacy tricks’: is dat gewoon een kwestie van copy-paste van al die settings na het commando ‘ /etc/unbound/unbound.conf.d/pi-hole.conf’?

[jpgview]

Ik gebruik de compiled versie van unbound, kan dit dus niet verifieren.

Voor zover ik het nog weet:
1. het bestand /etc/unbound/unbound.conf zegt eigelijk alleen dat unbound alle configuratie bestanden in /etc/unbound/unbound.conf.d moet gebruiken. Dat bestand wijzig je dus nooit.
2 Ik meen me te herinneren dat er in /etc/unbound/unbound.conf.d al een paar bestanden worden geplaatst door de install (sudo apt-get install unbound), o.a qname-minimisation.conf. die laat je ook ongemoeid.
3. maak een nieuw bestand, ik noem het gewoon unbound.conf, maar het maakt niet uit, als het maar de extentie conf heeft. Copier de volledige inhoud van het voorbeeld (is eigelijk geen voorbeeld, maar gewoon correct) uit de documentatie in dat bestand.
4. sudo service unbound stop && sudo service unbound start. Klaar.
5. aanpassen setting in pihole, done, je bent nu een unbound gebruiker.

Opgelet. Unbound wil, omwille van DNSSEC, dat de klok van je systeem correct staat. In mijn manual beschrijf ik (geen verschil tussen pihole v4 en v5) hoe je NTP op je systeem installeert. NTP zorgt er voor dat de klok correct blijft, alleen na een power off kan het nodig zijn dat je de tijd en datum aanpast.

[ultramarine]

Super! Zojuist nieuwe raspberry pi (v.4) besteld om rustig volgens jouw advies een unbound dns-server incl. NTP mee te kunnen maken. Als alles lijkt te werken switch ik van mijn oude naar mijn nieuwe.

[ultramarine]

Gelukt hoor! Ik heb nu een unbound pi-hole dns-server draaien op een raspberry pi v.4. Geheel geïnstalleerd volgens jouw manual en jouw link naar de unbound-oplossing. Trouwens wel met pi-hole versie 4.

Ik koel het bordje overigens actief, temperatuur is ~33 graden (mijn ongekoelde v.3 is ~56 graden).

[Jack Flushell]

Mijn Pi-hole draait op een Dell Enterpise server in een container. Resources in overvloed. Ik gebruik zowel de grote blacklist als de regex om zoveel mogelijk te blocken. Als ik 1 ding moet whitelisten, maakt bij mij niet uit. Gewoon ad.nl whitelisten werkt overigens niet, dan laadt de site maar half. Vandaar de Regex.

Bij mijn weten is het op een RPi zelfs ook geen probleem, zeker als je een 3 of 4 gebruikt.

[Reactie gewijzigd door Jack Flushell op 24 juli 2024 20:22]

[Jack Flushell]

Gefeliciteerd! De rest van de lezers draait Pi-Hole niet op een Dell Enterprise server met resources in overvloed. Je deelt iets over je use-case met oogpunt voor de rest van de lezers. Maar jouw use-case is volstrekt oninteressant (en overkill).

Reageer even normaal man, je bent hier op Tweakers.net
Als je mijn hele comment leest, dan zie je dat mijn use-case ook makkelijk kan op een Pi-hole 3 of 4. @jpgview doet net alsof Regex zoveel extra power vraagt (of bedoelt hij dat niet?), maar dat is alleen merkbaar bij enorm grote netwerken en voor thuisgebruik en in kleine bedrijven geen probleem op een RPi.

En denk je nou echt dat Pi-hole het enige is wat ik draai op die server? Er staat notabene bij dat ik het draai in een container - dat zal dan niet de enige container / VM zijn, denk je niet?

En als je een beetje verdiept in de community dan zul je erachter komen dat heel veel mensen Pi-hole niet op een RPi draaien. Niet voor niets is Raspian niet het enige dat ze ondersteunen. Dus hoezo "rest van de lezers"? Hou je felicitaties maar bij je.

[Reactie gewijzigd door Jack Flushell op 24 juli 2024 20:22]

[jpgview]

@Jerie, @Jack Flushell
geen idee hoe ik moet quoten of verwijzen naar een andere entry in dit topic, copy paste dus maar...

<quote>
@jpgview doet net alsof Regex zoveel extra power vraagt (of bedoelt hij dat niet?)
</quote>

hieronder (maar entries verschuiven wel eens binnen een topic - geen idee waarom) heb ik een quote van de lead developer gedaan, die een en ander verklaard. Ik, en vele anderen draaien pi-hole op een raspberry pi, zoals het door Jacob Salmela (de eerste pi-hole developer) oorspronkelijk bedoeld was. Zelf heb ik een pi 3B, maar er zijn ook nog mensen die pihole op een pi ZERO draaien. Een van de problemen met beta5, die ondertussen bijna allemaal zijn opgelost (nearing completion) was performance. Dagen aan een stuk hebben we testen gedaan, om tot het huidige resultaat te komen (ik en anderen als tester, de developers om oplossingen te bedenken).

Hier (sorry voor mijn gebrek aan 'tweakers website gebruik' kennis, nogmaals de quote van de lead developer:
<quote>
Others than that, I tend to disagree on your idea of less gravity and more regex is better. My reasoning is: It hurts performance.
I’ll only shortly explain why, you can ask if something remains unclear.
Gravity domains are now stored in a fully constructed B-tree. The lookup time in this tree model is O(log_2(N)). Without going too much into the technical details, let me just give some numbers:
1000 gravity domains = 10 tree lookups
10,000 domains = 14 tree lookups
100,000 domains = 17 tree lookups
1,000,000 domains = 20 tree lookups
10,000,000 domains = 24 tree lookups
100,000,000 domains = 27 tree lookups
The tree has efficient pointers to its branches so one lookup is also roughly one I/O activity. Given this, the performance impact on having a gravity list which is 1000x larger is almost negligible given the amount of overhead that is necessarily anyway present in the tree lookup process.
Now let’s go back to regex: Yes, regex is also quite performant in FTL. However, even a single regex is likely more expensive than having 100 times the number of domains in gravity. And since we’re not holding any gravity domain (but only the root of the tree) in memory, there is also not really a difference in memory usage here (in fact, Pi-hole v5.0 should use less memory for everyone!).
So with a few regex, it comes down to: It doesn’t really matter - or - doing with more gravity domains is still faster given the v5.0 reality and the tree.
However, on the contrary, I expect the gravity process to be massively delayed if each and every of your million+ domains needs to get passed through all these regex, I expect this to be really slow. I wouldn’t like to see our speed improvements we’ve just arrived at being killed by something I expect to have no notable effect at all during runtime.
</quote>

Die comment was het gevolg van de vraag of het interresant zou zijn gravity op te kuisen, e.g, entries verwijderen die al door een regex worden gematched. Geen goed idee dus, integendeel, een paar honderd domains extra blocken, blijkt efficienter dan een regex. Het probleem uiteraard, en daar ben ik me ook van bewust, is een lijst vinden waar alle domains die je wil blocken in voorkomen. Zo hadden we vandaag (weer een herhaling) een discussie over het blocken van facebook, onmogelijk (bijna) met blocklists, Zuckerberg domains kweken sneller dan konijnen, en zolang er geen werkbare oplossing komt voor 'recently created domains', grijpen we naar de regex. De facebook regex, na lange discussie overeen gekomen, vind je hier.

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[Jack Flushell]

Dank.
Wat ik al dacht dus ook. Vrijwel alles draai prima op een RPi, zelfs versie 3 van het bord.

_{Als je rechte haken gebruikt [ ] ipv < > Dan komt het goed met de opmaak hier}

[jpgview]

@Jack Flushell @Jerie
Na uren en uren durende test sessies wel ja, met de bedenking dat, op minder performante systemen, je toch beter twee minuten nadenkt voor je weer een regex toevoegd. Topics van gebruikers op discourse, zoals 'I've added every blocklist I could find' kunnen zonder problemen de hunt naar nieuwe lijsten verder zetten. Topics van gebruikers, die tot doel hebben gravity te verkleinen en te vervangen door regex, denken beter eerst twee minute na.

Gegeven de verklaring van de developer hierboven (als het nog hierboven is?) zal het m.i. niet echt lang duren voor de performance klachten de kop op steken op de oudere raspberry pi's. Regex blacklist - hadden we al in v4, nu regex whitelist - ben nog steeds op zoek naar een business case hiervoor, group management - verschillende lijsten en regex toewijzen aan verschillende client groepen, … Je krijgt de features, maar de machine zal er voor moeten werken. Met jouw DELL mainframe natuurlijk geen probleem…

heb trouwens mijn reactie hieboven nog uitgebreid, als het je al intereseerd...

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[Jerie]

Feit blijft dat een Dell Enterprise server overkill is, en noch de scope noch de gemiddelde toepassing van een Pi-Hole betreft. Een gemiddelde thuisgebruiker draait geen Dell Enterprise server. En zo is het.

De zin of onzin van containers doet daar niets aan af. Gebruik van containers zegt niets: je kunt een Pi-Hole ook in Docker draaien op een RPi. Ook zegt het gebruik van containers niets over het aantal containers.

Vanwege deze gegevens is jouw opmerking nutteloos, behalve de notie dat dit "volgens jou ook prima draait op een Raspberry Pi 3/4". Je hebt echter geen idee over de impact, want jouw use-case is een uitzonderlijke met veel zwaardere hardware dan de gemiddelde gebruiker (scope is immers Raspberry Pi). Iets dat verder ook wordt onderschreven door karma keizer @jpgview in deze reactie: jpgview in 'downloads: Pi-hole 4.3.3'

[Jack Flushell]

Waarom doe je steeds zo aangefikt? Omdat je je gelijk wilt halen, maar je weet niet waar je het eigenlijk over hebt vermoed ik. Jij weet toch niet wat ik draai? Wat is je probleem moeilijk te doen dan? Tweakers.net he, mensen houden er hier van om zoveel mogelijk te twaeken op zoveel mogelijk hardware.

@jpgview geeft ook aan dat het makkelijk kan. Pi-hole is één van de vele dingen die draait op die server en wat maakt het jouw uit dat dat overkill is? Wat boeit het? Het kan prima op een RPi, kijk even rond op verschillende fora en zie dat mensen ernaast nog dingen als PiVPN draaien en Samba. Geen probleem. Ja, ook met uitgebreide regex lijsten. Niks aan de hand.

En ik gaf eerder ook al aan: lang niet iedereen draait het OP een RPi, dat hoeft ook helemaal niet. Om mijn zo denigrerend te doen over mijn behulpzame initiële reactie en reacties daarna - wow.

[Reactie gewijzigd door Jack Flushell op 24 juli 2024 20:22]

[Jerie]

Je mag vermoeden wat je wilt, mijn vermoeden is dat je een beetje stoer wilde doen met je servertje. Samba, PiVPN, heeft allemaal niets met mijn punt te maken, namelijk: dat jouw use case niet typerend is voor het gebruik van deze software. Het kan dan ook niet tot gevolg hebben dat men andere default settings gaat gebruiken. Noch dat jouw advies in dit geval representatief is. Want dat is het daardoor niet. Ik hoef mijn gelijk niet te halen; ik weet dat ik het heb. Of jij dat nou toegeeft of niet, /care

[Jack Flushell]

Hahaha. Stoer doen . Ja dat was het. Mijn reactie was om anderen te helpen en jij haalt dàt eruit? Je haalt er steeds wat anders bij, dit heeft geen zin verder.

[Jerie]

dit heeft geen zin verder.

Zijn we het daarover eens fijne dag!

[sjhgvr]

ad.nl werkt zonder te whitelisten met mij geplaatste blocklist + regex

[Jack Flushell]

Ga het vanmiddag proberen.
Eerder werkte het alleen met regex-whitelisten en het lag niet aan jouw blacklist, maar aan de regex-blacklist. Misschien dat ze die hebben aangepast.

[Jack Flushell]

Nou bij mij niet... Alleen ad.nl whitelisten via Regex werkt als ik jouw blocklist gebruik in combinatie met deze regex

[sjhgvr]

Geen idee wat je anders doet dan ik, maar als ik alleen mijn lijst gebruik met mijn geplaatste regex, werkt ad.nl gewoon zonder te hoeven whitelisten. (Pi-hole v4)
Edit; de bovenste regex van mmotti \^(.+[_.-])?ad[sxv]?[0-9]*[_.-]\ zorgt ervoor dat ad.nl geblokkeerd word. Zie ook hier

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[Jack Flushell]

Ah ik snap 'm.
Je hebt een andere RegEx èn ik gebruik beta 5.0 (waar je RegEx Whitelist kunt gebruikten).
Ik ga jouw RegEx Blacklist eens proberen, dan kan die Whitelist weer weg. Dank.

[Reactie gewijzigd door Jack Flushell op 24 juli 2024 20:22]

[sjhgvr]

Die regex die ik gebruik is eigenlijk een beknoptere versie van die van mmotti, maar geeft dus geen problemen met ad.nl .. eigenlijk zou je iets als

^(.+[_.-])?ad[sxv]?[0-9]*[_.-]*\..*\.

moeten proberen, daar word ad.nl niet gematched, maar ad.domein.nl wel. Link

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[xppn]

Ah ik zocht nog een NL lijst. Thnx nog andere aanvullingen?

Anyway heb het nu een maand draaien. Echt top dit! Kan niet wachten tot v5 stable uit komt met deep-cname.

[Muncher]

Wat doet dat deep-cname ding eigenlijk?

[jpgview]

In the announcement lees je de sectie 'Deep CNAME inspection'
Sinds exact een maand geleden beta5 werd aangekondigd, ben ik bezig met mijn pihole manual (draft) aan te passen. Ondertussen bevat die ook een sectie 'deep CNAME inspection', waar ik een en ander probeer te verduidelijken.
Hier nog een poging in 'human language'
Er komt iemand binnen in de kroeg, die word begroet met 'hey dude', iedereen weet dat het 'Jef' is.

Websites doen het zelfde, Op een webpagina wordt de domain naam 'fonts.gstatic.com' gebruikt. DNS weet echter (na uiteraard de nodige queries) dat het domain 'gstaticadssl.l.google.com' bedoeld (CNAME) wordt. Tot voor kort waren adblockers en pihole niet in staat dit te detecteren, wat wilde zeggen dat 'fonts.gstatic.com' nooit geblocked werd, ook al was er een block list die 'gstaticadssl.l.google.com' uitdrukkelijk vermelde.

Deze techniek wordt misbruikt om Third party cookies toe te laten, ook al staat die optie in je browser uit.
voorbeeld:
- website, met 'domain example.com' heeft een home page 'www.example.com'. Op die pagina is er een tracker, 'tracker.google.com' -> blocked (geen third party allowed).
- website, met domain 'example.com' heeft een home page 'www.example.com'. Op die pagina is er een tracker 'sfcghkio.example.com'. 'sfcghkio.example.com' heeft een CNAME entry 'tracker.google.com' -> allowed ('sfcghkio.example.com' is geen third party, dus toegelaten)
Uiteraard niet alleen voor trackers, ook voor ads, een hele reeks bedrijven hebben deze techniek overgenomen.

'Deep CNAME inspection' zal, afhankelijk van de block lists die je gebruikt, extra whitelist entries noodzakelijk maken. Zelf moest ik 'ctldl.windowsupdate.com' toevoegen, omdat windows update niet langer werkte.

Ondertussen zijn er een aantal adblockers (o.a. ublock origin) die ook gewapend zijn tegen deze techniek, pihole 5 dus ook..

In mijn manual (draft) een script om de foute domain names, die NextDNS vermeldt, als regex toe te voegen (pihole v5 script, niet gebruiken op piholev4)

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[Cyphax]

Dat kan je hier lezen: https://pi-hole.net/2020/...pi-hole-5-0/#page-content

[Muncher]

Voor de andere luie mensen:

This has been a covered in a broadly discussed feature request for the ability to deeply analyze CNAME queries. This will allow FTL to find whether any intermediate domain in the chain is known to be blocked. If one is found, Pi-hole can now block the entire query and returns an empty reply to the requesting client. As this is a very work-intense process, it may lead to notable delays if you run Pi-hole on a very low end device such as the Pi Zero with a large number of clients. The feature defaults to being enabled but can be disabled with an FTL config option (CNAME_DEEP_INSPECT=false).

[sjhgvr]

Hoewel door mij als Nederlander onderhouden, is deze lijst niet specifiek "Nederlands".

Naast deze blocklist heb ik alleen deze regex's in gebruik, en deze lijken vooralsnog geen problemen te geven,

[pafdaddy]

Zou je die regex's als tekst willen delen? Je lijst gebruik ik in volle trevredeneheid trouwens.

[sjhgvr]

https://dbl.oisd.nl/regex.list
Edit; lees ook dit (en de reacties daaronder) even; TeraMod in 'downloads: Pi-hole 4.3.3'

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[Mirano]

Voeg je dit gewoon toe door settings>blocklist> en dan url toevoegen?

[sjhgvr]

1) Open the Pi-hole Admin Console (in your browser) and to to Settings > Blocklists [ hotlink ]
2) Where it says: Enter one URL per line to add new blocklists Enter: https://dbl.oisd.nl
3) Hit the Save and update button
4) Wait till the update finishes.

[Mirano]

is dit ook voor je regex.list?

[sjhgvr]

Nope, die mag je handmatig toevoegen via de web admin, of via CLI met;
sudo nano /etc/pihole/regex.list

[pafdaddy]

Mijn dank grenst aan hondsdolheid.

[jpgview]

mmotti heeft, sinds de introductie van regex in pihole, een lijst op GitHub staan, die door heel veel pihole gebruikers toegevoegd wordt.

In mijn manual (draft) ook een script om die lijst toe te voegen aan pihole als regex (pihole v5 script, niet gebruiken op piholev4)

[Reactie gewijzigd door jpgview op 24 juli 2024 20:22]

[TeraMod]

Waarom block je mijn website? *.(xn--).*

Ik snap de gedachte hierachter, ook beschikbaar onder een 'normale' domeinnaam

[sjhgvr]

Punycode. Ja opzich.. als je een paar goede voorbeelden voor me hebt, gaat die eruit

[Phyxion]

Hier in NL wordt het niet veel gebruikt, maar wel in Duitsland bijvoorbeeld:
www.münchen.de
www.bücher.de
Of in Griekenland
δπθ.gr
In Korea/Japan/Thailand stikt het ook van de punycode websites.

[Jerie]

Ik heb me altijd afgevraagd.. hoeveel tijd kost dit onderhouden? Waar spendeer je die tijd zoal aan? Vraag je ook om donaties?

[Reactie gewijzigd door Jerie op 24 juli 2024 20:22]

[sjhgvr]

Ik denk dat iemand met fatsoenlijke programmeer skillz dit binnen een dagje wel in elkaar geflanst heeft. En dan in een fatsoenlijke taal.
Ik ben een PHP frottert, hier al meer dan jaartje mee aant klooien, en spendeer hier een beetje teveel vrije tijd aan. Steeds bugjes pletten. En domeintjes whitelisten.

Over een week is m'n vriendin uitgeteld. Dus binnenkort heeft deze papa wss iets minder tijd.

Doneren is mogelijk, maar natuurlijk optioneel.

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[Jerie]

Geniet van jullie kindje

Ik doelde overigens niet zo zeer de code maar het gedeelte om de lijst samen te stellen (initieel) en te onderhouden. Of is dat hetgeen je in PHP doet?

[sjhgvr]

Geniet van jullie kindje

Bedankt

Ik doelde overigens niet zo zeer de code maar het gedeelte om de lijst samen te stellen (initieel) en te onderhouden. Of is dat hetgeen je in PHP doet?

Dat heb ik dus gecode in PHP, hoe het proces verloopt staat ook omschreven op de reddit page.

[Jerie]

Ah, ik lees het nu. Interessant, thanks!

[MRE-Inc]

Even bekeken, maar stond al in mijn pi-hole. Echter als ik alleen deze lijst aanzet, dan ga ik terug van 1,80 miljoen domeinen naar 1.03. De rest dus toch maar weer aangezet. Iig bedankt voor het delen van je link.

[sjhgvr]

Meer != beter , Ook is deze lijst ontdaan van niet langer oplosbare domeinen
Als je het niet erg vind om vaak dingen te whitelisten, dan mag je hier ook eens kijken

[Reactie gewijzigd door sjhgvr op 24 juli 2024 20:22]

[MRE-Inc]

Haha idd, maar momenteel heb ik een paar dingen gewhitelist en een paar handmatig toegevoegd en krijg thuis eigenlijk geen klachten.

Verder is het natuurlijk zo dat wanneer jij er geen zin in hebt, wat er dan gebeurd met de lijst. Ik zet mijn geld dus niet op 1 paard

[Bardman1]

toch mooi 100793 sites Kijk of ik even kan vergelijken met mijn
blocklist van 1152985. Word overigens NIET bijgehouden maar wel een siterip 'professionele' blocklist provider. Ik heb geen idee wat ik moet denken van professioneel, want commercieel is er altijd iemand die er aan wil verdienen.

Pi-hole kon dat trouwens perfect aan.

[sjhgvr]

Kijk of ik even kan vergelijken met mijn
blocklist van 1152985. Word overigens NIET bijgehouden maar wel een siterip 'professionele' blocklist provider.

Linkje?

[Bardman1]

Privé inhouse server. Wacht ff ik ga wat proberen


http://cloud.boxje.net/index.php/s/eG4DBCcR9CZKYcd

probeer maar ongeveer 25.4 Mb

[Reactie gewijzigd door Bardman1 op 24 juli 2024 20:22]

[sjhgvr]

404. Ik denk dat ik gemist heb.

[t-force]

Een fijne lijst, maar moet wel helaas wat meer werk doen om bepaalde sites en apps te laten werken.
Ofwel de lijst is soms te uitgebreid.
Een voorbeeld is de CNN app op iOS. Die laad dus niet goed in met jou lijst.
En de CNN app gebruik ik dagelijks om de VS politiek te volgen.

Ik heb de volgende uitzonderingen in Pi-Hole staan om CNN te laten werken:
- data.cnn.com
- dynaimage.cdn.turner.com
- smetrics.cnn.com

In ieder geval bedankt!!!

[sjhgvr]

De comments bij de reddit post zijn voor het rapporteren van false positives.

Maar bij deze; gefixed. Bedankt

[t-force]

Ik heb geen reddit.

Maar alsnog bedankt!!

[sjhgvr]

Mailen naar report@ oisd.nl kan ook.

[t-force]

Dat zal ik onthouden!

Heb jij misschien ook een goede source voor een IP black list?
Het lijkt erop dat squidblacklist.org gestopt is? Daar haalde ik tot nu toe IP blacklists vandaan voor mijn Mikrotik routers.

[sjhgvr]

http://iplists.firehol.org/

[Freekers]

Hartelijk dank daarvoor!! Ik maak er zowel privé als admin van Public-Pihole.com veel gebruik van Dit is beste lijst die momenteel beschikbaar is imho; geen impact op 'normale' dagelijkse browse activiteiten en nagenoeg geen false positives. Top!

[cyclone]

Dank !
Ik gebruikte tot op heden Pihole default lists, maar deze ga ik nu toevoegen, inclusief de regex's.
Diepe buiging naar u voor de moeite en dank voor het delen!

[thePiett]

Bedankt voor het delen!

[wiseger]

Helaas, diverse sites werken niet wanneer je PiHole zonder whitelisting gebruikt zoals inloggen op de Nuon site.

[Kliko]

Zojuist 22000 extra domeinen erbij gekregen dankzij jouw lijst. Erg bedankt!

[Pierre]

Misschien afgezaagd maar ik kan niet meer zonder mijn Pi-Hole
Geweldig programma om alle advertenties buiten de deur te houden.

[Reactie gewijzigd door Pierre op 24 juli 2024 20:22]

[The Zep Man]

Geweldig programma om alle veel advertenties buiten de deur te houden.

Een in-browser adblocker is nog steeds nodig om on-site elementen te blokkeren. Een Pi-hole doet veel, maar niet alles. Zo kan een Pi-hole nooit YouTube advertenties blokkeren of de gereserveerde ruimte voor advertenties op sites verbergen.

Verder is een Pi-hole overbodig als je een beetje fatsoenlijke router gebruikt waarop je een adblocker kan installeren (zoals OPNsense, pfSense of iets OpenWRT gebaseerd). Daarmee kan je dezelfde lijsten gebruiken zonder een extra apparaat in het netwerk te hangen.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 20:22]

[Pazo]

[...]
Zo kan een Pi-hole nooit YouTube advertenties blokkeren.

Wordt vaak gezegd, en ik zeg het dan maar weer: dat kan wel.

[Reactie gewijzigd door Pazo op 24 juli 2024 20:22]

[pennywiser]

Het zou handig zijn als deze lijst op github wordt gezet en wordt bijgehouden. Ik denk dat yt zelf ook bezig blijft nl.

Edit: staan deze yt domeinen hier ook allemaal in? Daar lijkt het wel op: https://github.com/kboghdady/youTube_ads_4_pi-hole

[Reactie gewijzigd door pennywiser op 24 juli 2024 20:22]

[Pazo]

Ja het is wel een kat en muis spel. Er worden steeds nieuwe toegevoegd. Toch heb ik vrijwel nooit meer reclame, heel af en toe. In mijn post staat ook een link naar een andere post die het via een regex / wildcard doet. Alleen die is wel wat agressief waardoor soms video's ook niet meer laden. Ik gebuikt dat zelf niet.

[The Zep Man]

Ja het is wel een kat en muis spel. Er worden steeds nieuwe toegevoegd. Toch heb ik vrijwel nooit meer reclame, heel af en toe.

Met uBlock Origin heb ik nooit reclame in YouTube of elders. Het lijkt erop dat er in-browser er veel minder kat en muis spel nodig is.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 20:22]

[Pazo]

Maar dat werkt niet op je mobiel denk ik? Terwijl Pi-hole de reclames in de youtube app wel blocked.

[pennywiser]

Nice, dit werkt dus. Good to know. Ook in de mobiele apps geen ads meer?

[Pazo]

Binnen je eigen netwerk niet nee. Daarbuiten is Blokada een goede app Werkt op dezelfde manier als pi-hole, met DNS blocklijsten.

[pennywiser]

Tnx ! Buiten en publieke wifi gooi ik mijn vpn aan, deze pusht mijn pihole dns.

[MadMax12]

Deze en de vele die ik daarna tegen ben gekomen ook geprobeerd, maar in combinatie met de Ziggo Next mediabox is dit helaas geen succes. Bij ons wordt eigenlijk alleen via de Ziggo Next naar Youtube gekeken en die gaat helaas over zijn nek als al deze regels geblokkeerd worden. Dus ik heb alle regels er weer uit gehaald zodat de dames thuis weer rustig naar Youtube kunnen kijken.
Heb de lijst wel bewaard mocht de mediabox er uit gaan.

[t-force]

Ik heb ook de Ziggo mediabox Next via DHCP een andere DNS 'gegeven'. Via Pi-Hole met de genoemde lijsten geeft dat dus echt problemen.

[sircampalot]

Je hebt gelijk, als je een router gebruikt die pihole functionaliteit heeft ingebouwd, dan heb je geen pi-hole nodig.

[gunghir]

ja wilde net zeggen zo geweldig is de Pi-hole echt niet.

[Jerie]

NewPipe (Android) kan dit in ieder geval wel.

[pandit]

Erg leuk project. Ik heb ooit op een PI deze geïnstalleerd samen met open-vpn server om vanuit mijn mobiel advertentievrij te kunnen internetten. Grootste nadeel is dat je (zover ik weet) geen whitelist van sites kan maken waar advertenties wel door mogen komen zoals Tweakers.net.

[stijnos1991]

Dat kan prima, al heel lang.

[GertMenkel]

Je kunt domeinen whitelisten maar je kunt niet aangeven Google Ads door te laten alleen als je Tweakers bezoekt. Als je AdWords whitelist, is dat voor iedere site, niet voor 1 specifieke.

[martijn86]

Dat is toch eigenlijk precies wat je wilt? Scripts en afbeeldingen gehost door tweakers.net whitelisten, ongeacht vanaf welke site deze verzoeken worden gedaan maar alle verzoeken die je identiteit kenbaar maken richting datahongerige advertentie-giganten wil je blokkeren.

[GertMenkel]

Zoals ik het comment gelezen heb wil pandit een site als Tweakers ondersteunen door daar wel de advertenties te laten zien. Tot pihole had ik bijvoorbeeld hier de adblocker uit staan (nu aan klein abonnement genomen ter compensatie) terwijl hij op de meeste andere plekken alles blockt.

Zo'n functie kan niet op DNS-niveau maar wel in adblock add-ons voor je browser.

[DonLexos]

Nee niet helemaal, hij bedoelt op tweakers wil ik wel ads zien maar op andere sites niet. En tweakers gebruikt (oa) googleadservices.com voor de ads, als je die whitelist zie je overal die ads (ook buiten tweakers)

[RedRayMann]

Ik denk dat Pandit bedoelt;
De advertenties op Tweakers zijn wel akkoord, omdat hij deze site zo wil steunen.
Tweakers.net in de whitelist zorgt niet dat er advertenties getoond worden.
Want ook de advertenties van Tweakers.net gaan via een ad.google of andere advertenties server. Waar ook reclame voor vele andere sites vandaan komen.

Dus whitelist je deze ad-server, dan krijg je weer "overal" reclame.

Als je alleen voor tweakers.net deze ad-server kan whitelisten kan volgens mij niet.

(Reactie op @stijnos1991 @II This Game II @shades )

[shades]

dan moet t.net zorgen dan hun ads via ads.tweakers.net ofzo geserveerd worden.

[II This Game II]

Kunt prima whitelisten. Alleen amazon werkt niet als je dns queries doet via vpn (andere functie van mijn pi) en http volgens normale weg.

[shades]

Je kan prima whitelisten - maar waarom?
Op de screenshot is zelft een "whitelist" knop te zien

[Reactie gewijzigd door shades op 24 juli 2024 20:22]

[WhatsappHack]

Soms is ‘t nodig omdat PiHole blokkades opwerpt die vervolgens in geen enkele lijst terug te vinden zijn. (Regex bug die maar niet gefixt wordt) Dan is ‘t enige dat je nog kan doen whitelisten, want handmatig doorzoeken is ook geen feest.

[pe0mot]

Prima oplossing voor de tweaker. Effectief en zeker leerzaam.
Voor Jan Modaal is nextdns.io een betere lookalike. Werkt prima en makkelijk met je pc en telefoons. Ik ben vanaf het begin een enthousiast gebruiker.

[shades]

Pi-hole is gratis dus ook voor Jan Modaal geschikt

[Bongoarnhem]

Ik denk dat @pe0mot het eerder heeft over de installatie. Die zal voor niet tweakers net even wat te lastig zijn.

[sjhgvr]

Een voordeel van nextDNS boven Pi-hole is dat die ook standaard alle subdomeinen (van geblokkeerde domeinen) blokkeert.

[Verwijderd]

Ik zou dan nog eerder naar opendns (Cisco Umbrella) kijken. Levert je ook meteen een vlotte dns server op en hoeft alleen maar te worden ingesteld op je router.

[Wizardtm]

Heb nu ook een piHole draaien maar nextdns.io zou op locatie voor m'n iphone misschien wel betere/makkelijkere optie zijn dan naar huis vpn-en (Y)

[pepijntb]

En zo gaan we meer en meer naar betaalmuren als de inkomsten via advertenties te ver teruglopen.

Tegen malware is dit type tool prima maar tegen advertenties is dit een giftig tooltje voor het vrije en gratis internet.
Je zou zelfs kunnen redeneren dat het de grote jongens in de kaart speelt. Als je nu als kleintje een site wil starten zul je moeten betalen voor hosting en dergelijke. En als je al wat interessants te melden hebt kost het je waarschijnlijk ook tijd. Een makkelijke manier van vergoeding zijn dan de inkomsten uit advertenties. Je kunt ook een betaalmuur inrichten maar dat is toch echt een stuk ingewikkelder.

[Zwartoog]

Dit is ook mijn grootste zorg. Ik heb in principe ook helemaal geen probleem met reclame op websites in de vorm van plaatjes. Audio/autoplay of reclame die dynamisch steeds tussen de tekst verschijnt vind ik dan wel weer een gruwel, en lastig om specifiek te blokkeren.

Voor cookies en IoT blokkeringen lijkt me Pi-Hole weer wel een prima oplossing. Je hebt websites die wekelijks weer opnieuw toestemming vragen, en je vervolgens voor tientallen opties je keuze kunt instellen. Van de zotte

Ik neem aan dat je deze opties (adblock/cookies) apart kunt instellen: weet iemand dat?

[Slijpschuiver]

Reclame zou niet zo'n probleem zijn als die advertentie-boeren niet zo ongelooflijk agressief waren. "Her vrije en gratis internet" lijkt fijn, en weinigen zullen daar iets op tegen hebben, maar de pulp-verspreiding, de data-jat-hufters, de ongelooflijke, ongefilterde onzin die verspreid wordt: worden we daar nu beter van. Ik betaal in ieder geval graag voor geredigeert nieuws. En reclame: daar doe ik niet aan.

[Tetraquark]

de meeste mensen draaien gratis hun websites en hebben vaak nuttigere dingen te melden dan commerciele sites.
Tracking cookies en het lanceren van malware door Ad-platformen is alleen al een reden om alles te blokkeren.

[Berimbau]

Heerlijk die pi-hole. Heb hem eigenlijk pas sinds kort, en niet op de pi maar gewoon op en Linuxbak in Azure samen met een reverse DNS servertje met unbound. Tegelijk openvpn erop gezet die alleen mijn DNS verkeer erover laat lopen (dus geen onnodige datakosten).

[Bor]

Heb je met een dergelijke setup geen last van extra en overbodige latency gezien je eerst het internet op moet richting azure ipv gebruik kunt maken van een locale resolver?

[pennywiser]

Daar zou iedereen dan last van moeten hebben die publieke DNS servers gebruikt. Rare redenering.

[Bor]

Dat heb je in zekere mate ook. Met een pi-hole op locatie is de latency lager en kunnen requests sneller worden afgehandeld indien bv gecached theoretisch gezien.

[Berimbau]

Geen last van. Default DNS servers staan ook gewoon op het internet. Daarnaast unbound en openvpn staan op diezelfde server

[Reactie gewijzigd door Berimbau op 24 juli 2024 20:22]

[MRE-Inc]

Ik zie graag een tutorial tegemoet want het klinkt voor mij interessant en wellicht voor anderen ook. Heb zelf maandelijkse Azure credits via mijn werkgever, maar doe er vrij weinig mee. Heb alleen een UNMS servertje draaien.

[pennywiser]

Pivpn heeft nu een installatie stap welke ervoor zorgt dat Pihole mert Pivpn samen werkt (extra dnsmasq config file). Resultaat is een adblocking vpn naar je huis/vps/aws etc.

Deze gebruik ik ook nog om alles van Facebook te blocken. Deze github heeft ook whtsapp/insta blocklists.

[Reactie gewijzigd door pennywiser op 24 juli 2024 20:22]

[vikdb]

Sinds welke update is dit? Ben wel benieuwd hoe ik dit kan doen

[pennywiser]

Weet ik niet, ik deed dit eerst zelf met de hand tot ik bij herinstallatie zag dat Pivpn nu rekening houdt met je Pihole. Gewoon even pivpn update draaien en de nieuwe scripts binnentrekken.

[vikdb]

Allright, is er trouwens een manier om PiVpn te updaten zonder het te herinstalleren? (heb vorige keer door het updaten van pihole, mijn pivpn kapot gedaan)

[pennywiser]

Ja. De officiele manier om Openvpn te backuppen en restoren is een backup van /etc/openvpn en evt. /home/user/ovpns (alles staat in /etc/openvpn) te maken en deze terug te plaatsen na herinstallatie. Maar pivpn update maakt zelf ook al een tar.gz met deze backup. Haal deze uit je /etc/openvpn en backup die gelijk even op een andere plek.

[tboynl]

Over de Deep CNAME inspection in de aankomende v5
"As this is a very work-intense process, it may lead to notable delays if you run Pi-hole on a very low end device such as the Pi Zero with a large number of clients."

Nu ben ik wel benieuwd naar de performance verschillen (vooral latency) als je dit op een Pi Zero draait v/s Pi4.

[pennywiser]

Ik vraag me af hoe kan je dit op een zero draaien als deze geen netwerk heeft. Of gebruik je dan wifi?

Ik gebruik zelf een Orange Pi zero plus met Armbian 10, deze zijn net wat vlotter en heeft gigabit.

[Reactie gewijzigd door pennywiser op 24 juli 2024 20:22]

[Bor]

Ook een Pi zero kan je van een ethernetaansluiting voorzien natuurlijk. Op zich is dat interessant voor een Pi-Hole installatie door de kleine form factor en beperkt energieverbruik.

[pennywiser]

Snap ik. Alleen doe je beide voordelen deels teniet door er zo'n ethernet hat op te zetten.

[Kecin]

Hoe updaten jullie? Versies zijn na mijn "update" als volgt geworden:
Pi-hole Version v4.3.2 Web Interface Version v4.3.3 FTL Version v4.3.1

Soms duurt het een paar dagen nadat ik pihole -up heb gedaan, waarna ik dan wel de nieuwe versie krijg.

[Reactie gewijzigd door Kecin op 24 juli 2024 20:22]

[pennywiser]

De versies kloppen met deze update.

[Kecin]

Dank! Ik dacht dat ze alle 3 hetzelfde moesten wezen, nog maar een bak koffie. Thanks!

[lt_cmd_data]

Pi-Hole werkt echt fantastisch i.c.m. apps op smart-TV. Volledig reclame vrij voor terugkijk apps zoals RTL-XL, kijk.nl (sbs6&9, Net5, Veronica) en npo. Heeft bij ons thuis vele nutteloze uren terug gewonnen. Reclame kijken is netzoals in de wachtkamer bij de tandarts/huisarts, je wil het niet.

Op kantoor: heb jij die grappige reclame gezien met...? nee, wij gebruiken Pi-Hole
Whitelisten bij problemen: [Pi-Hole] Ervaringen & discussie - Topic

[Reactie gewijzigd door lt_cmd_data op 24 juli 2024 20:22]